JP2010117691A - Information processor, information processing system, and program - Google Patents

Information processor, information processing system, and program Download PDF

Info

Publication number
JP2010117691A
JP2010117691A JP2008292836A JP2008292836A JP2010117691A JP 2010117691 A JP2010117691 A JP 2010117691A JP 2008292836 A JP2008292836 A JP 2008292836A JP 2008292836 A JP2008292836 A JP 2008292836A JP 2010117691 A JP2010117691 A JP 2010117691A
Authority
JP
Japan
Prior art keywords
projection
orientation
view
perspective
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008292836A
Other languages
Japanese (ja)
Other versions
JP4666060B2 (en
Inventor
Takeshi Nagamine
猛志 永峯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2008292836A priority Critical patent/JP4666060B2/en
Priority to US12/418,163 priority patent/US8441480B2/en
Priority to CN200910140988.0A priority patent/CN101739722B/en
Publication of JP2010117691A publication Critical patent/JP2010117691A/en
Application granted granted Critical
Publication of JP4666060B2 publication Critical patent/JP4666060B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information processor, an information processing system, and a program, capable of projecting drawing data onto an object considering the depth of a projecting plane of the object. <P>SOLUTION: A projected image creating part 14 acquires the position/orientation information indicating the position and orientation of a projector 5, and an operation part 11 selects at lest one CAD data from the plurality of CAD data regarding parts provided to the object 9. The projected image creating part 14 creates a projection drawing from the CAD data selected by the operation part 11, calculates the distance between the object 9 and the projector 5 and the orientation of the projector 5 from the position/orientation information, and converts the projection drawing into a perspective drawing using the calculated distance and orientation. A projection control part 13 controls the projector 5 so as to project the perspective drawing onto the object 9. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。   The present invention relates to an information processing apparatus, an information processing system, and a program.

従来より、別々の投影面を表示する各ウインドウに、常に対象物の所定部分の正面図、側面図、及び底面図を表示し、主ウインドウの動きに従ウインドウを追従させる表示装置が知られている(例えば、特許文献1参照)。   Conventionally, there has been known a display device that always displays a front view, a side view, and a bottom view of a predetermined portion of an object on each window that displays different projection planes, and that follows the movement of the main window. (For example, refer to Patent Document 1).

また、ユーザが手にする物体にCADデータに従った仮想物体を重畳させる場合に、この仮想物体に対する視覚と、この物体に対する触覚との間の違和感を軽減させる技術が知られている(例えば、特許文献2参照)。この技術では、ヘッドマウントディスプレイが必要であり、複数のユーザが仮想物体が重畳された物体を観察する場合には、複数のヘッドマウントディスプレイが必要となる。
特開平8−123983号公報 特開2007−34981号公報
In addition, when a virtual object according to CAD data is superimposed on an object that the user holds, a technique for reducing a sense of incongruity between the visual perception of the virtual object and the tactile sensation of the object is known (for example, Patent Document 2). In this technique, a head mounted display is required, and when a plurality of users observe an object on which a virtual object is superimposed, a plurality of head mounted displays are required.
JP-A-8-123983 JP 2007-34981 A

本発明の目的は、対象物の投影面の奥行きを考慮して、図面データを対象物上に投影させることができる情報処理装置、情報処理システム及びプログラムを提供することにある。   An object of the present invention is to provide an information processing apparatus, an information processing system, and a program capable of projecting drawing data onto an object in consideration of the depth of the projection surface of the object.

上記目的を達成するため、請求項1の情報処理装置は、投影装置の位置及び向きを表す位置/向き情報を取得する取得手段と、対象物に設けられる部品に関する複数の図面データから少なくとも1つの図面データを選択する選択手段と、前記選択手段により選択された図面データから投影図を作成する作成手段と、前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段と、前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段とを備えていることを特徴とする。   In order to achieve the above object, an information processing apparatus according to a first aspect of the present invention includes an acquisition unit that acquires position / orientation information indicating a position and an orientation of a projection apparatus, and at least one drawing data from a plurality of drawing data related to components provided on the object. Selection means for selecting drawing data, creation means for creating a projection view from the drawing data selected by the selection means, distance between the object and the projection apparatus from the position / orientation information, and the projection apparatus And a control means for controlling the projection device to project the perspective view onto the object using the calculated distance and orientation and converting the projection view into a perspective view. Means.

請求項2の情報処理装置は、請求項1記載の情報処理装置において、前記取得手段は、前記投影装置を移動させる移動装置から当該投影装置の移動後の位置/向き情報を取得し、前記変換手段は、前記投影装置の移動後の位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換することを特徴とする。   The information processing apparatus according to claim 2 is the information processing apparatus according to claim 1, wherein the acquisition unit acquires position / orientation information of the projection apparatus after movement from a movement apparatus that moves the projection apparatus, and performs the conversion. The means calculates the distance between the object and the projection device and the orientation of the projection device from the position / orientation information after the movement of the projection device, and uses the calculated distance and orientation to calculate the projection. The figure is converted into a perspective view.

請求項3の情報処理装置は、請求項1又は2に記載の情報処理装置において、前記対象物の撮影画像から当該対象物上のユーザによる指定位置を検出する検出手段を備え、前記作成手段は、前記指定位置に対応する部品に関する図面データから投影図を作成し、前記制御手段は、前記パース図が前記対象物上に投影される際に、前記パース図を強調表示するように前記投影装置を制御することを特徴とする。   The information processing device according to claim 3 is the information processing device according to claim 1 or 2, further comprising detection means for detecting a position designated by a user on the object from a photographed image of the object, The projection device creates a projection view from drawing data relating to a part corresponding to the designated position, and the control means highlights the perspective view when the perspective view is projected onto the object. It is characterized by controlling.

請求項4の情報処理装置は、請求項3に記載の情報処理装置において、前記検出手段は、前記情報処理装置に接続される外部装置から前記対象物上のユーザによる指定位置を取得することを特徴とする。   The information processing apparatus according to claim 4 is the information processing apparatus according to claim 3, wherein the detection unit obtains a position designated by the user on the object from an external device connected to the information processing apparatus. Features.

請求項5の情報処理装置は、請求項1又は2に記載の情報処理装置において、前記対象物の撮影画像から当該対象物上のユーザによる指定位置を検出する検出手段を備え、前記作成手段は、前記指定位置に対応する部品に関する図面データに基づいて、当該指定位置を通る平面で前記対象物を切った場合の断面図を作成し、前記変換手段は、前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記断面図をパース図に変換し、前記制御手段は、前記パース図を前記指定位置を通る平面と平行又は略平行な対象物の外郭に投影するように前記投影装置を制御することを特徴とする。   The information processing apparatus according to claim 5 is the information processing apparatus according to claim 1 or 2, further comprising detection means for detecting a position designated by a user on the object from a photographed image of the object, And creating a cross-sectional view when the object is cut along a plane passing through the designated position based on the drawing data relating to the part corresponding to the designated position, and the converting means is configured to obtain the object from the position / orientation information. A distance between the projector and the projection device and a direction of the projection device, and using the calculated distance and orientation, the cross-sectional view is converted into a perspective view, and the control means converts the perspective view into the perspective view. The projection apparatus is controlled to project onto an outline of an object parallel or substantially parallel to a plane passing through a specified position.

請求項6の情報処理装置は、請求項5に記載の情報処理装置において、前記制御手段は、前記パース図及び前記指定位置の切り口に対応する画像を前記指定位置を通る平面と平行又は略平行な対象物の外郭に投影するように前記投影装置を制御することを特徴とする。   The information processing apparatus according to claim 6 is the information processing apparatus according to claim 5, wherein the control unit parallels or substantially parallels an image corresponding to the perspective view and the cut surface of the designated position with a plane passing through the designated position. The projection apparatus is controlled to project onto a contour of a target object.

請求項7の情報処理装置は、請求項5又は6に記載の情報処理装置において、前記検出手段は、前記情報処理装置に接続される外部装置から前記対象物上のユーザによる指定位置を取得することを特徴とする。   The information processing device according to claim 7 is the information processing device according to claim 5 or 6, wherein the detection unit acquires a position designated by the user on the object from an external device connected to the information processing device. It is characterized by that.

請求項8の情報処理システムは、対象物に設けられる部品に関する複数の図面データから少なくとも1つの図面データを選択し、当該選択された図面データを示す情報を第1情報処理装置に通知する第2情報処理装置と、投影装置の位置及び向きを表す位置/向き情報を取得する取得手段、前記第2情報処理装置から通知される情報に対応する図面データから投影図を作成する作成手段、前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段、及び前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段を有する第1情報処理装置とを備えていることを特徴とする。   The information processing system according to claim 8 selects at least one drawing data from a plurality of drawing data related to parts provided on the object, and notifies the first information processing apparatus of information indicating the selected drawing data. Information processing apparatus, acquisition means for acquiring position / orientation information indicating the position and orientation of the projection apparatus, creation means for creating a projection map from drawing data corresponding to information notified from the second information processing apparatus, and the position Conversion means for calculating the distance between the object and the projection device and the orientation of the projection device from the orientation information, and converting the projection view into a perspective view using the calculated distance and orientation; And a first information processing apparatus having control means for controlling the projection apparatus to project the perspective view onto the object.

請求項9のプログラムは、コンピュータを、投影装置の位置及び向きを表す位置/向き情報を取得する取得手段、対象物に設けられる部品に関する複数の図面データから少なくとも1つの図面データを選択する選択手段、前記選択手段により選択された図面データから投影図を作成する作成手段、前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段、及び前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段として機能させることを特徴とする。   10. The program according to claim 9, wherein the computer acquires acquisition means for acquiring position / orientation information indicating the position and orientation of the projection apparatus, and selection means for selecting at least one drawing data from a plurality of drawing data related to parts provided on the object. A creation unit that creates a projection map from the drawing data selected by the selection unit; a distance between the object and the projection device and a direction of the projection device are calculated from the position / orientation information; Using the determined distance and orientation to function as conversion means for converting the projection figure into a perspective figure, and as control means for controlling the projection apparatus so as to project the perspective figure onto the object. .

請求項1の発明によれば、対象物上の投影面の奥行きを考慮して、図面データを対象物上に投影させることができる。   According to the first aspect of the present invention, the drawing data can be projected onto the object in consideration of the depth of the projection surface on the object.

請求項2の発明によれば、投影装置が移動された場合にも、対象物上の投影面の奥行きを考慮して、図面データを対象物上に投影させることができる。   According to the invention of claim 2, even when the projection apparatus is moved, the drawing data can be projected onto the object in consideration of the depth of the projection surface on the object.

請求項3の発明によれば、対象物側のユーザによる指定位置に対応する部品のパース図を強調表示して、対象物上に投影させることができる。   According to the third aspect of the present invention, it is possible to highlight the perspective view of the part corresponding to the position designated by the user on the object side and project it on the object.

請求項4の発明によれば、外部装置のユーザによる指定位置に対応する部品のパース図を強調表示して、対象物上に投影させることができる。   According to invention of Claim 4, the perspective view of the components corresponding to the position designated by the user of the external device can be highlighted and projected onto the object.

請求項5の発明によれば、対象物上の投影面の奥行きを考慮して、対象物側のユーザによる指定位置に対応する部品の断面図を対象物上に投影することができる。   According to the invention of claim 5, the sectional view of the part corresponding to the position designated by the user on the object side can be projected on the object in consideration of the depth of the projection surface on the object.

請求項6の発明によれば、対象物上の投影面の奥行きを考慮して、対象物側のユーザによる指定位置に対応する部品の断面図及び指定位置の切り口に対応する画像を対象物上に投影することができる。   According to the invention of claim 6, in consideration of the depth of the projection surface on the object, a cross-sectional view of the part corresponding to the position designated by the user on the object side and an image corresponding to the cut edge of the designated position are displayed on the object. Can be projected.

請求項7の発明によれば、対象物上の投影面の奥行きを考慮して、外部装置のユーザによる指定位置に対応する部品の断面図を対象物上に投影することができる。   According to the seventh aspect of the present invention, in consideration of the depth of the projection surface on the object, the cross-sectional view of the part corresponding to the position designated by the user of the external device can be projected onto the object.

請求項8の発明によれば、対象物上の投影面の奥行きを考慮して、図面データを対象物上に投影させることができる。   According to invention of Claim 8, drawing data can be projected on a target object in consideration of the depth of the projection surface on a target object.

請求項9の発明によれば、対象物上の投影面の奥行きを考慮して、図面データを対象物上に投影させることができる。   According to invention of Claim 9, drawing data can be projected on a target object in consideration of the depth of the projection surface on a target object.

以下、本発明の実施の形態について、図面を参照して説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図1は、本発明の実施の形態に係る情報処理システムの構成を示すブロック図である。   FIG. 1 is a block diagram showing a configuration of an information processing system according to an embodiment of the present invention.

図1の情報処理システムは、サーバ1(第1情報処理装置)、クライアント3(第2情報処理装置)を備えており、これらは、ネットワーク2を介して互いに接続されている。サーバ1には、カメラ4及びプロジェクタ5が接続されている。プロジェクタ5は、サーバ1からの制御コマンドに基づいて、対象物9に対して、アノテーション画像(注釈画像)又はCADデータ(図面データ)を投影する。尚、アノテーション画像は、線、文字、記号、図形、色、フォント(書体)等のあらゆる態様の画像を含む。対象物9は、図1に示すように、基準位置((x、y、z)=(0,0,0))に設置されている。   The information processing system of FIG. 1 includes a server 1 (first information processing apparatus) and a client 3 (second information processing apparatus), which are connected to each other via a network 2. A camera 4 and a projector 5 are connected to the server 1. The projector 5 projects an annotation image (annotation image) or CAD data (drawing data) onto the object 9 based on a control command from the server 1. Note that the annotation image includes images of all aspects such as lines, characters, symbols, figures, colors, fonts (typefaces), and the like. As illustrated in FIG. 1, the object 9 is installed at a reference position ((x, y, z) = (0, 0, 0)).

カメラ4には、カメラ4を上下左右に移動させるアーム6が接続されており、プロジェクタ5には、プロジェクタ5を上下左右に移動させるアーム7が接続されている。またアーム6,7には、アーム6,7を駆動するアクチュエータ8が接続されている。カメラ4及びプロジェクタ5は、アーム6,7によって移動するが、カメラ4及びプロジェクタ5の画角と光軸が常に一致するように移動する。   The camera 4 is connected to an arm 6 that moves the camera 4 in the vertical and horizontal directions, and the projector 5 is connected to an arm 7 that moves the projector 5 in the vertical and horizontal directions. The actuators 8 for driving the arms 6 and 7 are connected to the arms 6 and 7. The camera 4 and the projector 5 are moved by the arms 6 and 7, but are moved so that the angle of view and the optical axis of the camera 4 and the projector 5 always coincide.

サーバ1は、操作部11(選択手段)、位置測定部12、投影制御部13(制御手段)、投影画像作成部14(取得手段、作成手段、変換手段)、記憶部15、指示位置検出部16(検出手段)及び通信部17を備えている。投影画像作成部14は、操作部11、位置測定部12、投影制御部13、記憶部15、指示位置検出部16及び通信部17に接続されている。操作部11及び位置測定部12は、アクチュエータ8に接続され、投影制御部13はプロジェクタ5に接続されている。指示位置検出部16はカメラ4に接続されている。   The server 1 includes an operation unit 11 (selection unit), a position measurement unit 12, a projection control unit 13 (control unit), a projection image creation unit 14 (acquisition unit, creation unit, conversion unit), a storage unit 15, and an indicated position detection unit. 16 (detection means) and a communication unit 17 are provided. The projection image creation unit 14 is connected to the operation unit 11, the position measurement unit 12, the projection control unit 13, the storage unit 15, the designated position detection unit 16, and the communication unit 17. The operation unit 11 and the position measurement unit 12 are connected to the actuator 8, and the projection control unit 13 is connected to the projector 5. The designated position detection unit 16 is connected to the camera 4.

操作部11は、アクチュエータ8に、アーム6,7を移動させる操作指示を入力する。尚、アーム6,7を移動させる操作指示は、クライアント3からネットワーク2、通信部17、及び操作部11を介してアクチュエータ8に入力されてもよい。また、操作部11は、記憶部15に記憶されているCADデータを選択する際に利用される。   The operation unit 11 inputs an operation instruction for moving the arms 6 and 7 to the actuator 8. An operation instruction for moving the arms 6 and 7 may be input from the client 3 to the actuator 8 via the network 2, the communication unit 17, and the operation unit 11. The operation unit 11 is used when selecting CAD data stored in the storage unit 15.

位置測定部12は、アクチュエータ8の駆動により生じる駆動信号に基づいてカメラ4及びプロジェクタ5の位置を測定する。記憶部15は、対象物9に含まれる部品(以下パーツという)の3次元CAD(Computer Aided Design)データ(例えば、設計図のデータ)を保存している(以下、3次元CADデータを単にCADデータという)。また、記憶部15は、図2に示すような、パーツ名、パーツの位置及び向きを示す位置/向き情報、及びCADデータを互いに関連付けしたデータベースを備えている。具体的には、位置/向き情報は、3次元の座標で表される。また、1つのパーツに対して複数のCADデータ(X面、Y面、Z面のCADデータ)が設定されている。尚、記憶部15に記憶されるCADデータ、データベース、その他のデータは、サーバ1の外部記憶装置(不図示)に記憶されてもよい。   The position measurement unit 12 measures the positions of the camera 4 and the projector 5 based on a drive signal generated by driving the actuator 8. The storage unit 15 stores three-dimensional CAD (Computer Aided Design) data (for example, design drawing data) of parts (hereinafter referred to as parts) included in the object 9 (hereinafter, the three-dimensional CAD data is simply CAD). Called data). Further, the storage unit 15 includes a database as shown in FIG. 2 in which part names, position / orientation information indicating the position and orientation of parts, and CAD data are associated with each other. Specifically, the position / orientation information is represented by three-dimensional coordinates. A plurality of CAD data (X-plane, Y-plane, and Z-plane CAD data) is set for one part. The CAD data, database, and other data stored in the storage unit 15 may be stored in an external storage device (not shown) of the server 1.

投影画像作成部14は、位置測定部12で測定されたプロジェクタ5の位置/向き情報及び記憶部15に保存されているCADデータに基づいて、プロジェクタ5の位置から対象物9を見た場合の投影画像(ここでは、CADデータ)としてのパース図を作成する。パース図とは、物体を2次元の平面上に描く際に遠近感をともなって描かれた図である。   Based on the position / orientation information of the projector 5 measured by the position measurement unit 12 and the CAD data stored in the storage unit 15, the projection image creation unit 14 looks at the object 9 from the position of the projector 5. A perspective view is created as a projection image (here, CAD data). A perspective diagram is a diagram drawn with a sense of perspective when an object is drawn on a two-dimensional plane.

投影制御部13は、投影画像作成部14で作成されたパース図を受信し、プロジェクタ5に当該パース図を投影させる。指示位置検出部16は、カメラ4から送信される撮影画像を受信し、受信した撮影画像に含まれる特定の光源(即ち、色)の位置を検出する。また、指示位置検出部16は、受信した撮影画像を通信部17を介してクライアント3に送信する。また、指示位置検出部16は、受信した撮影画像を記憶部15に記憶してもよい。   The projection control unit 13 receives the perspective diagram created by the projection image creation unit 14 and causes the projector 5 to project the perspective diagram. The designated position detection unit 16 receives a captured image transmitted from the camera 4 and detects the position of a specific light source (that is, color) included in the received captured image. In addition, the designated position detection unit 16 transmits the received captured image to the client 3 via the communication unit 17. The indicated position detection unit 16 may store the received captured image in the storage unit 15.

クライアント3には、表示装置32が接続されており、表示装置32は、通信部17から送信される撮影画像を表示するウインドウ33、及びアノテーション画像を書き込むためのユーザインターフェース(UI)34を表示する。UI34は、ペン、テキスト、及び消去などのボタン群と、線種や色種のアイコンとを含む。例えば、UI34のペンボタンが押下されて、ウインドウ33内の対象物9上にアノテーション画像が記載されると、当該アノテーション画像はクライアント3からサーバ1を介してプロジェクタ5に出力される。プロジェクタ5は当該アノテーション画像のデータ(具体的には、座標データ)に基づいて対象物9上にアノテーション画像を描く。   A display device 32 is connected to the client 3, and the display device 32 displays a window 33 for displaying a captured image transmitted from the communication unit 17 and a user interface (UI) 34 for writing an annotation image. . The UI 34 includes a group of buttons such as pen, text, and erase, and line type and color type icons. For example, when the pen button of the UI 34 is pressed and an annotation image is described on the object 9 in the window 33, the annotation image is output from the client 3 to the projector 5 via the server 1. The projector 5 draws an annotation image on the object 9 based on the annotation image data (specifically, coordinate data).

図3は、サーバ1及びクライアント3のハードウエア構成を示すブロック図である。   FIG. 3 is a block diagram showing the hardware configuration of the server 1 and the client 3.

クライアント3のハードウエア構成は、サーバ1のハードウエア構成と同一であるので、ここではサーバ1のハードウエア構成について説明する。   Since the hardware configuration of the client 3 is the same as the hardware configuration of the server 1, the hardware configuration of the server 1 will be described here.

サーバ1は、装置全体を制御するCPU21、制御プログラムを備えるROM22、ワーキングエリアとして機能するRAM23、各種の情報やプログラムを備えるハードディスクドライブ(HDD)24、マウス及びキーボードを接続するためのPS/2インターフェース25、他のコンピュータと接続するためのネットワークインターフェース26、表示装置を接続するためのビデオインターフェース27、及び不図示のUSB機器と接続するためのUSB(universal serial bus)インターフェース28を備えている。CPU21は、システムバス29を介してROM22、RAM23、ハードディスクドライブ(HDD)24、PS/2インターフェース25、ネットワークインタフェース26、ビデオインターフェース27及びUSBインタフェース28に接続されている。   The server 1 includes a CPU 21 for controlling the entire apparatus, a ROM 22 having a control program, a RAM 23 functioning as a working area, a hard disk drive (HDD) 24 having various information and programs, a PS / 2 interface for connecting a mouse and a keyboard. 25, a network interface 26 for connecting to another computer, a video interface 27 for connecting a display device, and a USB (universal serial bus) interface 28 for connecting to a USB device (not shown). The CPU 21 is connected to a ROM 22, a RAM 23, a hard disk drive (HDD) 24, a PS / 2 interface 25, a network interface 26, a video interface 27, and a USB interface 28 via a system bus 29.

操作部11は、不図示のマウス及びキーボードに相当する。位置測定部12、投影制御部13、投影画像作成部14、及び示位置測定部16は、CPU21に対応する。記憶部15は、ROM22、RAM23及びHDD24に対応する。通信部17は、ネットワークインターフェース26に対応する。   The operation unit 11 corresponds to a mouse and a keyboard (not shown). The position measurement unit 12, the projection control unit 13, the projection image creation unit 14, and the indicated position measurement unit 16 correspond to the CPU 21. The storage unit 15 corresponds to the ROM 22, the RAM 23, and the HDD 24. The communication unit 17 corresponds to the network interface 26.

以下、各処理では、対象物9側のユーザが、予め対象物9を基準位置(x、y、z)=(0,0,0)にセットしているものとする。   Hereinafter, in each process, it is assumed that the user on the object 9 side has previously set the object 9 at the reference position (x, y, z) = (0, 0, 0).

図4は、サーバ1で実行される投影処理を示すフローチャートである。   FIG. 4 is a flowchart showing the projection processing executed by the server 1.

まず、操作部11で対象物9に設けられているパーツに対応するCADデータが選択されると、操作部11は撮影画像作成部14に選択されたCADデータを示す情報を通知する(ステップS1)。次に、位置測定部12がアクチュエータ8の駆動信号からプロジェクタ5の位置及び向きを測定する(ステップS2)。影画像作成部14は、プロジェクタ5の位置/向き情報を位置測定部12から取得する(ステップS3)。   First, when CAD data corresponding to a part provided on the object 9 is selected by the operation unit 11, the operation unit 11 notifies the photographed image creation unit 14 of information indicating the selected CAD data (step S1). ). Next, the position measuring unit 12 measures the position and orientation of the projector 5 from the drive signal of the actuator 8 (step S2). The shadow image creation unit 14 acquires the position / orientation information of the projector 5 from the position measurement unit 12 (step S3).

影画像作成部14は、ステップS1で通知されたCADデータを示す情報に基づいて、記憶部15から対応するCADデータを読み出し、当該CADデータから投影対象のパーツの投影図を作成する(ステップS4)。投影図の一例を図5(A)に示す。この投影図は、図5(A)に示すように、投影対象のパーツをXYZの各方向に平行移動させ、対象物9の外郭上にパーツの輪郭を描いた図である。   The shadow image creation unit 14 reads the corresponding CAD data from the storage unit 15 based on the information indicating the CAD data notified in step S1, and creates a projection view of the projection target part from the CAD data (step S4). ). An example of a projection view is shown in FIG. As shown in FIG. 5A, this projection diagram is a diagram in which the part to be projected is translated in each direction of XYZ, and the outline of the part is drawn on the outline of the object 9.

次に、影画像作成部14は、ステップS3で取得されたプロジェクタ5の位置/向き情報からプロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを算出し、プロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを用いて、投影図をパース図に変換し(ステップS5)、投影制御部13にパース図を送信する(ステップS6)。   Next, the shadow image creating unit 14 calculates the distance between the projector 5 and the object 9 and the orientation of the object 5 from the position / orientation information of the projector 5 acquired in step S3, and the projector 5 and the object 9 are calculated. The projection map is converted into a perspective map using the distance between and the direction of the projector 5 (step S5), and the perspective map is transmitted to the projection control unit 13 (step S6).

投影制御部13は、パース図を受信し、パース図を対象物9上に投影するようにプロジェクタ5を制御して(ステップS7)、本処理を終了する。これにより、パース図は対象物9に投影される。図5(B)にパース図が投影された対象物9を示す。   The projection control unit 13 receives the perspective diagram, controls the projector 5 to project the perspective diagram onto the object 9 (step S7), and ends this process. As a result, the perspective view is projected onto the object 9. FIG. 5B shows the object 9 on which the perspective view is projected.

本処理によれば、対象物9側のユーザが、対象物9に含まれるパーツとそのパーツのCADデータとを観察する場合に、視点をパーツとCADデータとの間で切り換える必要がなくなる。即ち、ユーザは、パーツとCADデータとを同一視点で観察する。   According to this process, when the user on the object 9 side observes the parts included in the object 9 and the CAD data of the parts, it is not necessary to switch the viewpoint between the parts and the CAD data. That is, the user observes parts and CAD data from the same viewpoint.

上記処理では、対象物9に設けられているパーツに対応するCADデータが操作部11により選択されているが、クライアント3から対象物9に設けられているパーツに対応するCADデータを選択してもよい。この場合、クライアント3のCPU31が撮影画像作成部14に選択されたCADデータを示す情報を通知する。   In the above processing, the CAD data corresponding to the part provided on the object 9 is selected by the operation unit 11, but the CAD data corresponding to the part provided on the object 9 is selected from the client 3. Also good. In this case, the CPU 31 of the client 3 notifies the photographed image creation unit 14 of information indicating the selected CAD data.

図6は、プロジェクタ5が移動する場合の投影処理を示すフローチャートであり、図7は、プロジェクタ5と対象物9の配置関係を示す図である。本処理では、図4の処理が予め実行されているものとする。   FIG. 6 is a flowchart illustrating a projection process when the projector 5 moves, and FIG. 7 is a diagram illustrating an arrangement relationship between the projector 5 and the object 9. In this process, it is assumed that the process of FIG. 4 is executed in advance.

位置測定部12は、プロジェクタ5の移動により生じるアクチュエータ8の駆動信号を受信したか否かを判別する(ステップS11)。ステップS11でNOの場合には、本判別を繰り返す。一方、ステップS11でYESの場合には、位置測定部12はアクチュエータ8の駆動信号からプロジェクタ5の最新の位置及び向きを測定する(ステップS12)。影画像作成部14は、プロジェクタ5の最新の位置/向き情報を位置測定部12から取得する(ステップS13)。   The position measurement unit 12 determines whether or not a drive signal for the actuator 8 generated by the movement of the projector 5 has been received (step S11). If NO in step S11, this determination is repeated. On the other hand, in the case of YES at step S11, the position measuring unit 12 measures the latest position and orientation of the projector 5 from the drive signal of the actuator 8 (step S12). The shadow image creation unit 14 acquires the latest position / orientation information of the projector 5 from the position measurement unit 12 (step S13).

影画像作成部14は、ステップS13で取得されたプロジェクタ5の位置/向き情報からプロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを算出し、プロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを用いて、投影図をパース図に変換し(ステップS14)、投影制御部13にパース図を送信する(ステップS15)。尚、投影画像作成部14は、図4のステップS3で投影図を作成しているため、投影図の再作成は実行されない。   The shadow image creation unit 14 calculates the distance between the projector 5 and the object 9 and the orientation of the object 5 from the position / orientation information of the projector 5 acquired in step S13. The projection map is converted into a perspective map using the distance and the orientation of the projector 5 (step S14), and the perspective map is transmitted to the projection control unit 13 (step S15). Note that since the projection image creation unit 14 creates a projection diagram in step S3 of FIG. 4, the projection diagram is not recreated.

投影制御部13は、パース図を受信し、パース図を対象物9上に投影するようにプロジェクタ5を制御して(ステップS16)、本処理を終了する。これにより、パース図は対象物9に投影される。   The projection control unit 13 receives the perspective diagram, controls the projector 5 to project the perspective diagram onto the object 9 (step S16), and ends this process. As a result, the perspective view is projected onto the object 9.

本処理によれば、図7に示すように、対象物9の影であった領域にも、プロジェクタ5の移動によりパース図が投影される。   According to this processing, as shown in FIG. 7, the perspective view is projected by the movement of the projector 5 on the region that is the shadow of the object 9.

図8は、対象物9側のユーザが指定した位置のパーツに関するパース図の投影処理を示すフローチャートである。図9は、強調されたパース図が投影される状態を示す図である。本処理では、対象物9側のユーザが、特定の色(例えば赤色)の光を発する指示装置41を対象物9に接触させて、対象物上の位置を指定するものとする。   FIG. 8 is a flowchart showing the projection processing of the perspective diagram related to the part at the position designated by the user on the object 9 side. FIG. 9 is a diagram illustrating a state in which the emphasized perspective diagram is projected. In this process, it is assumed that the user on the object 9 side contacts the object 9 with the pointing device 41 that emits light of a specific color (for example, red) and designates the position on the object.

指示位置検出部16は、カメラ4から撮影画像を取得し(ステップS21)、撮影画像内に特定の色(例えば赤色)の発光があるか否かを判別する(ステップS22)。   The designated position detection unit 16 acquires a captured image from the camera 4 (step S21), and determines whether or not there is light emission of a specific color (for example, red) in the captured image (step S22).

ステップS22でNOの場合には、当該判別を繰り返す。一方、ステップS22でYESの場合には、指示位置検出部16は、撮影画像内の発光の位置を検出し、発光の位置情報を投影画像作成部14に送信する(ステップS23)。   If NO in step S22, the determination is repeated. On the other hand, in the case of YES in step S22, the designated position detection unit 16 detects the light emission position in the captured image, and transmits the light emission position information to the projection image creation unit 14 (step S23).

投影画像作成部14は、指示位置検出部16から送信される発光の位置情報、及び記憶部15に格納されている図2のデータベースに基づいて、発光の位置にあるパーツを特定する(ステップS24)。   The projection image creation unit 14 identifies the part at the light emission position based on the light emission position information transmitted from the indicated position detection unit 16 and the database of FIG. 2 stored in the storage unit 15 (step S24). ).

その後、影画像作成部14は、記憶部15から特定されたパーツに対応するCADデータを読み出し、当該CADデータから投影対象のパーツの投影図を作成する(ステップS5)。   Thereafter, the shadow image creation unit 14 reads out CAD data corresponding to the specified part from the storage unit 15, and creates a projection drawing of the part to be projected from the CAD data (step S5).

次に、影画像作成部14は、プロジェクタ5の位置/向き情報を位置測定部12から取得し、プロジェクタ5の位置/向き情報からプロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを算出し、プロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを用いて、投影図をパース図に変換する(ステップS26)。さらに、影画像作成部14は、パース図の投影パラメータと共にパース図を投影制御部13に送信する(ステップS27)。パース図の投影パラメータとは、パース図の色を変更するパラメータ、パース図を点滅するパラメータ、又はパース図を太線に変更するパラメータ等のようなパース図を強調表示するパラメータである。   Next, the shadow image creation unit 14 acquires the position / orientation information of the projector 5 from the position measurement unit 12, and the distance between the projector 5 and the object 9 and the orientation of the projector 5 from the position / orientation information of the projector 5. Is calculated, and the projection view is converted into a perspective view using the distance between the projector 5 and the object 9 and the orientation of the projector 5 (step S26). Further, the shadow image creation unit 14 transmits the perspective diagram together with the projection parameters of the perspective diagram to the projection control unit 13 (step S27). The perspective view projection parameter is a parameter that highlights the perspective view, such as a parameter for changing the color of the perspective view, a parameter for blinking the perspective view, or a parameter for changing the perspective view to a thick line.

投影制御部13は、パース図の投影パラメータと共にパース図を受信し、パース図の投影パラメータに従ってパース図を投影するようにプロジェクタ5を制御して(ステップS28)、本処理を終了する。これにより、パース図は対象物9に投影される。   The projection control unit 13 receives the perspective diagram together with the projection parameters of the perspective diagram, controls the projector 5 to project the perspective diagram according to the projection parameters of the perspective diagram (step S28), and ends this process. As a result, the perspective view is projected onto the object 9.

本処理によれば、図9に示すように別のパーツのパース図が対象物9に投影されている場合でも、対象物9側のユーザが指示したパーツのパース図のみが強調表示される。   According to this process, even when a perspective view of another part is projected on the object 9 as shown in FIG. 9, only the perspective view of the part designated by the user on the object 9 side is highlighted.

本処理では、対象物9側のユーザが指示装置41を対象物9に接触させて、対象物9上の位置を指定しているが、クライアント3のユーザが表示装置32に表示される対象物9の画像にマークを付けることで、対象物9上の位置を指定してもよい。この場合、指示位置検出部16はクライアント3からマークの位置情報を取得することで、ユーザに指定された対象物9上の位置を把握する。   In this process, the user on the object 9 side makes the pointing device 41 contact the object 9 and designates the position on the object 9, but the object of the client 3 is displayed on the display device 32. The position on the object 9 may be designated by marking the image 9. In this case, the indicated position detection unit 16 obtains the position information on the object 9 designated by the user by acquiring the mark position information from the client 3.

図10は、ユーザが指定した位置への対象物9の断面図の投影処理を示すフローチャートである。図11は、対象物9の断面図が投影される状態を示す図である。本処理では、対象物9側のユーザが、特定の色(例えば赤色)の光を発する指示装置41を対象物9に接触させて、対象物上の位置を指定するものとする。   FIG. 10 is a flowchart showing the projection processing of the cross-sectional view of the object 9 to the position designated by the user. FIG. 11 is a diagram illustrating a state in which a cross-sectional view of the object 9 is projected. In this process, it is assumed that the user on the object 9 side contacts the object 9 with the pointing device 41 that emits light of a specific color (for example, red) and designates the position on the object.

指示位置検出部16は、カメラ4から撮影画像を取得し(ステップS31)、撮影画像内に特定の色(例えば赤色)の発光があるか否かを判別する(ステップS32)。   The designated position detection unit 16 acquires a captured image from the camera 4 (step S31), and determines whether there is light emission of a specific color (for example, red) in the captured image (step S32).

ステップS32でNOの場合には、当該判別を繰り返す。一方、ステップS32でYESの場合には、指示位置検出部16は、撮影画像内の発光の位置を検出し、発光の位置情報を投影画像作成部14に送信する(ステップS33)。ここでは、発光の位置の座標は(x1,y1)であるとする。   If NO in step S32, the determination is repeated. On the other hand, in the case of YES in step S32, the designated position detection unit 16 detects the light emission position in the captured image and transmits the light emission position information to the projection image creation unit 14 (step S33). Here, it is assumed that the coordinates of the light emission position are (x1, y1).

投影画像作成部14は、位置測定部12から取得されるプロジェクタ5の位置/向き情報に基づいて撮影画像内における対象物9のX面、Y面及びZ面の位置を算出し、撮影画像内の発光の位置の座標(x1,y1)が対象物9のX面、Y面及びZ面のどの位置にあるかを特定する(ステップS34)。ここでは、発光の位置の座標がY面の(x2,z2)にあるものとする。   Based on the position / orientation information of the projector 5 acquired from the position measurement unit 12, the projection image creation unit 14 calculates the positions of the X plane, the Y plane, and the Z plane of the object 9 in the captured image. The position (x1, y1) of the light emission position is specified on the X plane, the Y plane and the Z plane of the object 9 (step S34). Here, it is assumed that the coordinates of the light emission position are at (x2, z2) on the Y plane.

次に、投影画像作成部14は、記憶部15に記憶されている、点x2に対応する部品のCADデータに基づいて、X面に平行で点x2を通る面で対象物9を切った場合の断面図をX面への投影図として作成する(ステップS35)。同様に、投影画像作成部14は、記憶部15に記憶されている、点z2に対応する部品のCADデータに基づいて、Z面に平行で点z2を通る面で対象物9を切った場合の断面図をZ面への投影図として作成する(ステップS36)。   Next, the projection image creation unit 14 cuts the object 9 on a plane parallel to the X plane and passing through the point x2 based on the CAD data of the part corresponding to the point x2 stored in the storage unit 15. Is created as a projected view on the X plane (step S35). Similarly, the projection image creation unit 14 cuts the object 9 on a plane parallel to the Z plane and passing through the point z2 based on the CAD data of the component corresponding to the point z2 stored in the storage unit 15. Is created as a projection on the Z plane (step S36).

影画像作成部14は、位置測定部12から取得されるプロジェクタ5の位置/向き情報からプロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを算出し、プロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを用いて、X面及びZ面への投影図をパース図に変換する(ステップS37)。影画像作成部14は、パース図と共に各面の切り口に対応する画像を投影制御部13に送信する(ステップS38)。   The shadow image creation unit 14 calculates the distance between the projector 5 and the object 9 and the orientation of the object 5 from the position / orientation information of the projector 5 acquired from the position measurement unit 12. The projections on the X and Z planes are converted into perspective views using the distance between and the orientation of the projector 5 (step S37). The shadow image creation unit 14 transmits an image corresponding to the cut surface of each surface together with the perspective view to the projection control unit 13 (step S38).

投影制御部13は、パース図及び各面の切り口に対応する画像を受信し、X面及びZ面用のパース図を対象物9のX面及びZ面に、且つ、各面の切り口に対応する画像を各面に投影するようにプロジェクタ5を制御し(ステップS39)、本処理を終了する。これにより、パース図及び各面の切り口に対応する画像は、ユーザが指定した位置で対象物を切る平面と平行な対象物の外郭に投影される。   The projection control unit 13 receives the perspective view and the image corresponding to the cut surface of each surface, and the perspective view for the X surface and the Z surface corresponds to the X surface and the Z surface of the object 9 and corresponds to the cut surface of each surface. The projector 5 is controlled so as to project the image to be projected onto each surface (step S39), and this process is terminated. Thus, the perspective view and the image corresponding to the cut surface of each surface are projected onto the outline of the object parallel to the plane that cuts the object at the position specified by the user.

本処理によれば、図11に示すように、ユーザが指定した位置の対象物9の断面図及び各面の切り口に対応する画像が対象物9上に投影される。   According to this process, as shown in FIG. 11, a cross-sectional view of the object 9 at a position specified by the user and an image corresponding to the cut surface of each surface are projected onto the object 9.

また、本処理では、対象物9側のユーザが指示装置41を対象物9に接触させて、対象物9上の位置を指定しているが、クライアント3のユーザが表示装置32に表示される対象物9の画像にマークを付けることで、対象物9上の位置を指定してもよい。この場合、指示位置検出部16はクライアント3からマークの位置情報を取得することで、ユーザに指定された対象物9上の位置を把握する。   In this process, the user on the object 9 side makes the pointing device 41 contact the object 9 and designates the position on the object 9, but the user of the client 3 is displayed on the display device 32. A position on the object 9 may be designated by marking the image of the object 9. In this case, the indicated position detection unit 16 obtains the position information on the object 9 designated by the user by acquiring the mark position information from the client 3.

また、本処理では、ユーザが指定した位置で対象物を切る平面と断面図が投影される対象物の外郭とが平行である(即ち、点x2を通る面とX面は平行であり、点z2を通る面とZ面は平行である)が、ユーザが指定した位置で対象物を切る平面と断面図が投影される対象物の外郭とは略平行であってもよい。略平行とは、ユーザが指定した位置で対象物を切る平面が断面図が投影される対象物の外郭に対し所定の角度(例えば、0〜5度)傾いている場合である。   In this process, the plane that cuts the object at the position specified by the user and the outline of the object on which the sectional view is projected are parallel (that is, the plane passing through the point x2 and the X plane are parallel, The plane passing through z2 and the Z plane are parallel), but the plane that cuts the object at the position specified by the user and the outline of the object on which the cross-sectional view is projected may be substantially parallel. The term “substantially parallel” refers to a case where a plane that cuts the object at a position specified by the user is inclined at a predetermined angle (for example, 0 to 5 degrees) with respect to the outline of the object on which the sectional view is projected.

以上詳細に説明したように、本実施の形態によれば、投影画像作成部14がプロジェクタ5の位置及び向きを表す位置/向き情報を取得し、操作部11が、対象物9に設けられるパーツ(部品)に関する複数のCADデータから少なくとも1つのCADデータを選択する。さらに、投影画像作成部14が操作部11により選択されたCADデータから投影図を作成し、位置/向き情報から対象物9とプロジェクタ5との間の距離及びプロジェクタ5の向きを算出し、当該算出された距離及び向きを用いて、投影図をパース図に変換する。投影制御部13は、パース図を対象物9上に投影するようにプロジェクタ5を制御する。よって、選択された部品の図面が精度良く対象物上に表示される。   As described above in detail, according to the present embodiment, the projection image creation unit 14 acquires position / orientation information indicating the position and orientation of the projector 5, and the operation unit 11 is a part provided on the object 9. At least one CAD data is selected from a plurality of CAD data related to (component). Further, the projection image creation unit 14 creates a projection view from the CAD data selected by the operation unit 11, calculates the distance between the object 9 and the projector 5 and the orientation of the projector 5 from the position / orientation information, Using the calculated distance and orientation, the projection diagram is converted into a perspective diagram. The projection control unit 13 controls the projector 5 so as to project the perspective diagram onto the object 9. Therefore, the drawing of the selected part is displayed on the object with high accuracy.

上記実施の形態では、図8の処理と図10の処理とを別々に説明したが、これらの処理は組み合わされても良い。これにより、あるパーツの断面図のみが強調表示される。   In the above embodiment, the process of FIG. 8 and the process of FIG. 10 have been described separately, but these processes may be combined. Thereby, only a cross-sectional view of a certain part is highlighted.

また、本実施の形態では、カメラ4及びプロジェクタ5の画角と光軸は一致することが好ましいが、投影画像作成部14がキャリブレーションを実行し、撮影画像の特定の位置が投影画像の特定の位置に変換されるようにしてもよい。   In the present embodiment, it is preferable that the angles of view of the camera 4 and the projector 5 coincide with the optical axis. However, the projection image creation unit 14 executes calibration, and the specific position of the photographed image is the specification of the projection image. You may make it convert into the position of.

また、カメラ4及びプロジェクタ5に含まれるレンズの収差が予め決められている場合には、投影画像作成部14はレンズの収差を考慮して投影画像を作成してもよい。さらに、本実施の形態では、対象物9は、実物でも、紙や樹脂などで作成されたモックでもよい。   In addition, when the aberration of the lenses included in the camera 4 and the projector 5 is determined in advance, the projection image creation unit 14 may create a projection image in consideration of the lens aberration. Furthermore, in the present embodiment, the object 9 may be a real object or a mock made of paper or resin.

また、図1の情報処理システムは、1台のカメラ及び1台のプロジェクタを備えているが、複数のカメラ及び複数のプロジェクタを備えていてもよい。この場合、位置測定部12が各プロジェクタの位置や向きを測定し、各プロジェクタに投影画像を割り当ててもよい。あるいは、操作部11で予め各プロジェクタに対象物9の投影面の割り当てを設定し、位置測定部12が各プロジェクタの位置や向きを制御するようにしてもよい。この場合、操作部11での設定情報は投影画像作成部14を介して位置測定部12に送られる。   The information processing system in FIG. 1 includes one camera and one projector, but may include a plurality of cameras and a plurality of projectors. In this case, the position measurement unit 12 may measure the position and orientation of each projector and assign a projection image to each projector. Alternatively, the operation unit 11 may set the projection plane of the object 9 to each projector in advance, and the position measurement unit 12 may control the position and orientation of each projector. In this case, setting information in the operation unit 11 is sent to the position measurement unit 12 via the projection image creation unit 14.

サーバ1の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、サーバ1に供給し、CPU21が記憶媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。プログラムを供給するための記憶媒体としては、例えば、CD−ROM、DVD、又はSDカードなどがある。   Similar to the above embodiment, the recording medium in which the software program for realizing the function of the server 1 is recorded is supplied to the server 1 and the CPU 21 reads and executes the program stored in the storage medium. The effect of. Examples of the storage medium for supplying the program include a CD-ROM, a DVD, or an SD card.

サーバ1のCPU21が、サーバ1の機能を実現するためのソフトウェアのプログラムを実行することによっても、上記実施の形態と同様の効果を奏する。   Even when the CPU 21 of the server 1 executes a software program for realizing the functions of the server 1, the same effects as those of the above-described embodiment can be obtained.

なお、本発明は、上述した実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。   Note that the present invention is not limited to the above-described embodiment, and can be implemented with various modifications without departing from the scope of the invention.

本発明の実施の形態に係る情報処理システムの構成を示すブロック図である。It is a block diagram which shows the structure of the information processing system which concerns on embodiment of this invention. 記憶部15に記憶されているデータベースの一例を示す図である。3 is a diagram illustrating an example of a database stored in a storage unit 15. FIG. サーバ1及びクライアント3のハードウエア構成を示すブロック図である。2 is a block diagram showing hardware configurations of a server 1 and a client 3. FIG. サーバ1で実行される投影処理を示すフローチャートである。4 is a flowchart showing a projection process executed by the server 1. (A)は、投影対象のパーツをXYZの各方向に平行移動させ、対象物9の外郭上にパーツの輪郭を描いた図であり、(B)は、パース図が投影された対象物9を示す図である。(A) is a diagram in which a part to be projected is translated in each direction of XYZ, and the outline of the part is drawn on the outline of the object 9. (B) is an object 9 on which a perspective view is projected. FIG. プロジェクタ5が移動する場合の投影処理を示すフローチャートである。It is a flowchart which shows the projection process in case the projector 5 moves. プロジェクタ5と対象物9の配置関係を示す図である。It is a figure which shows the arrangement | positioning relationship between the projector 5 and the target object 9. FIG. 対象物9側のユーザが指定した位置のパーツに関するパース図の投影処理を示すフローチャートである。It is a flowchart which shows the projection process of the perspective view regarding the part of the position designated by the user of the target object 9 side. 強調されたパース図が投影される状態を示す図である。It is a figure which shows the state by which the emphasized perspective view is projected. ユーザが指定した位置への対象物9の断面図の投影処理を示すフローチャートである。It is a flowchart which shows the projection process of sectional drawing of the target object 9 to the position designated by the user. 対象物9の断面図が投影される状態を示す図である。It is a figure which shows the state in which sectional drawing of the target object 9 is projected.

符号の説明Explanation of symbols

1 サーバ
2 ネットワーク
3 クライアント
4 カメラ
5 プロジェクタ
6,7 アーム
8 アクチュエータ
11 操作部
12 位置測定部
13 投影制御部
14 投影画像作成部
15 記憶部
16 指示位置検出部
17 通信部
DESCRIPTION OF SYMBOLS 1 Server 2 Network 3 Client 4 Camera 5 Projector 6, 7 Arm 8 Actuator 11 Operation part 12 Position measurement part 13 Projection control part 14 Projection image creation part 15 Storage part 16 Pointed position detection part 17 Communication part

Claims (9)

投影装置の位置及び向きを表す位置/向き情報を取得する取得手段と、
対象物に設けられる部品に関する複数の図面データから少なくとも1つの図面データを選択する選択手段と、
前記選択手段により選択された図面データから投影図を作成する作成手段と、
前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段と、
前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段と
を備えていることを特徴とする情報処理装置。
Acquisition means for acquiring position / orientation information representing the position and orientation of the projection device;
Selecting means for selecting at least one drawing data from a plurality of drawing data related to a part provided on the object;
Creating means for creating a projection from the drawing data selected by the selecting means;
Conversion means for calculating the distance between the object and the projection device and the orientation of the projection device from the position / orientation information, and converting the projection view into a perspective view using the calculated distance and orientation. When,
An information processing apparatus comprising: control means for controlling the projection apparatus so as to project the perspective view onto the object.
前記取得手段は、前記投影装置を移動させる移動装置から当該投影装置の移動後の位置/向き情報を取得し、
前記変換手段は、前記投影装置の移動後の位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換することを特徴とする請求項1に記載の情報処理装置。
The acquisition means acquires position / orientation information after movement of the projection apparatus from a movement apparatus that moves the projection apparatus,
The conversion means calculates the distance between the object and the projection device and the orientation of the projection device from the position / orientation information after the projection device is moved, and uses the calculated distance and orientation, The information processing apparatus according to claim 1, wherein the projection diagram is converted into a perspective diagram.
前記対象物の撮影画像から当該対象物上のユーザによる指定位置を検出する検出手段を備え、
前記作成手段は、前記指定位置に対応する部品に関する図面データから投影図を作成し、
前記制御手段は、前記パース図が前記対象物上に投影される際に、前記パース図を強調表示するように前記投影装置を制御することを特徴とする請求項1又は2に記載の情報処理装置。
Detecting means for detecting a position designated by a user on the object from a captured image of the object;
The creating means creates a projection view from drawing data related to a part corresponding to the designated position,
3. The information processing according to claim 1, wherein the control unit controls the projection device to highlight the perspective view when the perspective view is projected onto the object. 4. apparatus.
前記検出手段は、前記情報処理装置に接続される外部装置から前記対象物上のユーザによる指定位置を取得することを特徴とする請求項3に記載の情報処理装置。   The information processing apparatus according to claim 3, wherein the detection unit acquires a position designated by a user on the object from an external device connected to the information processing apparatus. 前記対象物の撮影画像から当該対象物上のユーザによる指定位置を検出する検出手段を備え、
前記作成手段は、前記指定位置に対応する部品に関する図面データに基づいて、当該指定位置を通る平面で前記対象物を切った場合の断面図を作成し、
前記変換手段は、前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記断面図をパース図に変換し、
前記制御手段は、前記パース図を前記指定位置を通る平面と平行又は略平行な対象物の外郭に投影するように前記投影装置を制御することを特徴とする請求項1又は2に記載の情報処理装置。
Detecting means for detecting a position designated by a user on the object from a captured image of the object;
The creation means creates a cross-sectional view when the object is cut on a plane passing through the designated position based on drawing data relating to a part corresponding to the designated position,
The converting means calculates a distance between the object and the projection device and a direction of the projection device from the position / orientation information, and uses the calculated distance and orientation to parse the cross-sectional view. Converted to
3. The information according to claim 1, wherein the control unit controls the projection device to project the perspective view onto an outline of an object parallel or substantially parallel to a plane passing through the designated position. Processing equipment.
前記制御手段は、前記パース図及び前記指定位置の切り口に対応する画像を前記指定位置を通る平面と平行又は略平行な対象物の外郭に投影するように前記投影装置を制御することを特徴とする請求項5に記載の情報処理装置。   The control means controls the projection device to project an image corresponding to the perspective view and the cut surface of the designated position onto an outline of an object parallel or substantially parallel to a plane passing through the designated position. The information processing apparatus according to claim 5. 前記検出手段は、前記情報処理装置に接続される外部装置から前記対象物上のユーザによる指定位置を取得することを特徴とする請求項5又は6に記載の情報処理装置。   The information processing apparatus according to claim 5, wherein the detection unit acquires a position designated by a user on the object from an external device connected to the information processing apparatus. 対象物に設けられる部品に関する複数の図面データから少なくとも1つの図面データを選択し、当該選択された図面データを示す情報を第1情報処理装置に通知する第2情報処理装置と、
投影装置の位置及び向きを表す位置/向き情報を取得する取得手段、
前記第2情報処理装置から通知される情報に対応する図面データから投影図を作成する作成手段、
前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段、及び
前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段を有する第1情報処理装置と
を備えていることを特徴とする情報処理システム。
A second information processing apparatus that selects at least one drawing data from a plurality of drawing data related to a component provided on the object, and notifies the first information processing apparatus of information indicating the selected drawing data;
Acquisition means for acquiring position / orientation information representing the position and orientation of the projection device;
Creating means for creating a projection drawing from drawing data corresponding to information notified from the second information processing apparatus;
Conversion means for calculating the distance between the object and the projection device and the orientation of the projection device from the position / orientation information, and converting the projection view into a perspective view using the calculated distance and orientation. An information processing system comprising: a first information processing device having a control unit that controls the projection device so as to project the perspective view onto the object.
コンピュータを、
投影装置の位置及び向きを表す位置/向き情報を取得する取得手段、
対象物に設けられる部品に関する複数の図面データから少なくとも1つの図面データを選択する選択手段、
前記選択手段により選択された図面データから投影図を作成する作成手段、
前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段、及び
前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段
として機能させることを特徴とするプログラム。
Computer
Acquisition means for acquiring position / orientation information representing the position and orientation of the projection device;
Selection means for selecting at least one drawing data from a plurality of drawing data related to a part provided on the object;
Creating means for creating a projection from the drawing data selected by the selecting means;
Conversion means for calculating the distance between the object and the projection device and the orientation of the projection device from the position / orientation information, and converting the projection view into a perspective view using the calculated distance and orientation. And a program for causing the projection apparatus to function as control means for controlling the projection apparatus to project the perspective view onto the object.
JP2008292836A 2008-11-14 2008-11-14 Information processing apparatus, information processing system, and program Expired - Fee Related JP4666060B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008292836A JP4666060B2 (en) 2008-11-14 2008-11-14 Information processing apparatus, information processing system, and program
US12/418,163 US8441480B2 (en) 2008-11-14 2009-04-03 Information processing apparatus, information processing system, and computer readable medium
CN200910140988.0A CN101739722B (en) 2008-11-14 2009-05-15 Signal conditioning package and information handling system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008292836A JP4666060B2 (en) 2008-11-14 2008-11-14 Information processing apparatus, information processing system, and program

Publications (2)

Publication Number Publication Date
JP2010117691A true JP2010117691A (en) 2010-05-27
JP4666060B2 JP4666060B2 (en) 2011-04-06

Family

ID=42171634

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008292836A Expired - Fee Related JP4666060B2 (en) 2008-11-14 2008-11-14 Information processing apparatus, information processing system, and program

Country Status (3)

Country Link
US (1) US8441480B2 (en)
JP (1) JP4666060B2 (en)
CN (1) CN101739722B (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010140259A (en) * 2008-12-11 2010-06-24 Fuji Xerox Co Ltd Information processing apparatus, and information processing system and program
JP2016522905A (en) * 2013-03-28 2016-08-04 ヒルティ アクチエンゲゼルシャフト Method and apparatus for displaying design object and object data
JP2018084614A (en) * 2016-11-21 2018-05-31 富士通株式会社 Image projection system and image projection method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169768A (en) * 2008-01-17 2009-07-30 Fuji Xerox Co Ltd Information processor and program
JP5598232B2 (en) * 2010-10-04 2014-10-01 ソニー株式会社 Information processing apparatus, information processing system, and information processing method
US9832352B2 (en) * 2011-11-16 2017-11-28 Autofuss System and method for 3D projection mapping with robotically controlled objects
CN104054023B (en) 2011-11-16 2017-11-17 欧特法斯公司 The system and method that the 3D of object Mapping for being controlled with robot is projected
JP2014145813A (en) * 2013-01-28 2014-08-14 Funai Electric Co Ltd Projector
CN104822037B (en) * 2014-01-30 2019-03-08 德思来科技有限公司 Nested type projector with built-in electric cantilever
JP6735644B2 (en) * 2016-09-20 2020-08-05 キヤノン株式会社 Information processing apparatus, control method thereof, and computer program
US10425625B2 (en) * 2018-02-06 2019-09-24 The Boeing Company Projecting images and videos onto engineered curved surfaces

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200663A (en) * 1993-12-28 1995-08-04 Misawa Homes Co Ltd Line drawing method and plotting device
JP2003132068A (en) * 2001-10-22 2003-05-09 Nec Corp Navigation system and navigation terminal
JP2003270719A (en) * 2002-03-13 2003-09-25 Osaka Industrial Promotion Organization Projection method, projector, and method and system for supporting work
JP2007226765A (en) * 2006-01-26 2007-09-06 Fuji Xerox Co Ltd Instruction device, instruction system, instruction method and instruction program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3470771B2 (en) 1994-10-26 2003-11-25 沖電気工業株式会社 Projection plane linked display device
CN1126025C (en) 1997-08-12 2003-10-29 松下电器产业株式会社 Window display
US6999073B1 (en) * 1998-07-20 2006-02-14 Geometrix, Inc. Method and system for generating fully-textured 3D
US20030210244A1 (en) * 2002-05-10 2003-11-13 Canon Kabushiki Kaisha Information processing apparatus and method
DE10256659A1 (en) 2002-12-04 2004-07-08 Siemens Ag Input device for orientating a 3D medical image has means for selecting a reference point and means for fixing a viewing direction and setting a scale
US8085388B2 (en) * 2005-02-01 2011-12-27 Laser Projection Technologies, Inc. Laser radar projection with object feature detection and ranging
US7306339B2 (en) * 2005-02-01 2007-12-11 Laser Projection Technologies, Inc. Laser projection with object feature detection
JP4422074B2 (en) * 2005-06-16 2010-02-24 Necディスプレイソリューションズ株式会社 Projector and focus adjustment method
JP2007034981A (en) 2005-07-29 2007-02-08 Canon Inc Image processing system, and image processing device
JP5538667B2 (en) * 2007-04-26 2014-07-02 キヤノン株式会社 Position / orientation measuring apparatus and control method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200663A (en) * 1993-12-28 1995-08-04 Misawa Homes Co Ltd Line drawing method and plotting device
JP2003132068A (en) * 2001-10-22 2003-05-09 Nec Corp Navigation system and navigation terminal
JP2003270719A (en) * 2002-03-13 2003-09-25 Osaka Industrial Promotion Organization Projection method, projector, and method and system for supporting work
JP2007226765A (en) * 2006-01-26 2007-09-06 Fuji Xerox Co Ltd Instruction device, instruction system, instruction method and instruction program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010140259A (en) * 2008-12-11 2010-06-24 Fuji Xerox Co Ltd Information processing apparatus, and information processing system and program
JP2016522905A (en) * 2013-03-28 2016-08-04 ヒルティ アクチエンゲゼルシャフト Method and apparatus for displaying design object and object data
JP2018084614A (en) * 2016-11-21 2018-05-31 富士通株式会社 Image projection system and image projection method

Also Published As

Publication number Publication date
US8441480B2 (en) 2013-05-14
JP4666060B2 (en) 2011-04-06
CN101739722A (en) 2010-06-16
US20100123687A1 (en) 2010-05-20
CN101739722B (en) 2016-01-06

Similar Documents

Publication Publication Date Title
JP4666060B2 (en) Information processing apparatus, information processing system, and program
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
US8350896B2 (en) Terminal apparatus, display control method, and display control program
US9342925B2 (en) Information processing apparatus, information processing method, and program
JP6689559B2 (en) Image projection apparatus, system, image projection method and program
US8929628B2 (en) Measuring device and measuring method
JP2008293357A (en) Information processing method and information processor
JP2016162162A (en) Contact detection device, projector device, electronic blackboard device, digital signage device, projector system, and contact detection method
JP2016114963A (en) Input operation detection device, projector device, electronic blackboard device, digital signage device, and projector system
JP5332576B2 (en) Information processing apparatus, information processing system, and program
JP6918648B2 (en) Image processing equipment, image processing methods and programs
JP2016186672A (en) Interactive projector and interactive projection system
JP2015212927A (en) Input operation detection device, image display device including input operation detection device, and projector system
JP2016218893A (en) Input operation detection device, image display device, projector device, projector system and input operation detection method
JP5828671B2 (en) Information processing apparatus and information processing method
JP2005147894A (en) Measuring method and measuring instrument
JP2006018444A (en) Image processing system and additional information indicating device
JPWO2014061310A1 (en) Display object control system, display object control method, and program
JP5742379B2 (en) Projection system and projection method
JP2018097645A (en) Information processing apparatus, information processing system, control methods therefor, and program
JP4828395B2 (en) 3D map display device
JP2017125764A (en) Object detection apparatus and image display device including the same
JP6704698B2 (en) Information processing apparatus, information processing method, information processing system, and program
JP2010117465A (en) Information processing device, information processing system and program
US20230068299A1 (en) Information processing device, information processing method, and computer program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4666060

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees