JP2003036142A - System and method for presentation - Google Patents

System and method for presentation

Info

Publication number
JP2003036142A
JP2003036142A JP2001222687A JP2001222687A JP2003036142A JP 2003036142 A JP2003036142 A JP 2003036142A JP 2001222687 A JP2001222687 A JP 2001222687A JP 2001222687 A JP2001222687 A JP 2001222687A JP 2003036142 A JP2003036142 A JP 2003036142A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
screen
means
position
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001222687A
Other languages
Japanese (ja)
Inventor
Toshio Moriya
Haruo Takeda
Chigiri Utsugi
契 宇都木
俊夫 守屋
晴夫 武田
Original Assignee
Hitachi Ltd
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To provide presentation technology for indicating a reference place and obtaining natural operability even when a large-sized screen is used. SOLUTION: A presentation system displays an image on a screen and indicates a point in the image with a light spot by using a pointing device. An image recognizing means extracts the light spot indicated by the pointing device from the image picked up by an imaging means and detects the position indicated by the pointing device. An image generating means generates an image having a symbol added at the position. The image with the added symbol is displayed on the screen by an image display means.

Description

【発明の詳細な説明】 【0001】 【発明の属する技術分野】本発明は、スクリーン上に画像を表示し、該スクリーン上に表示された画像を指し示しながら説明を進めるためのプレゼンテーション技術に関する。 BACKGROUND OF THE INVENTION [0001] [Technical Field of the Invention The present invention relates to an image displays a on the screen, relating to presentation technology for an explanation will while pointing the image displayed on the screen. 【0002】 【従来の技術】従来から、プレゼンテーションを行う際には、聴衆の前に要旨の記載された大きな掲示物を提示し、講話で語っている文脈に対応する位置や参照すべき図を指し示しながら話を進めていくのが慣例とされてきた。 [0002] Conventionally, when making a presentation presents a large bulletin described aspect in front of an audience, to FIG should position or reference corresponding to the context in which it is said in lecture It is going to advance the story while pointing has been customary. 【0003】近年、パーソナルコンピュータが普及して、電子プレゼンテーションが一般的になるにつれて、 [0003] In recent years, the personal computer is in widespread use, as the electronic presentation is common,
従来からのプレゼンテーションで用いられてきた参照位置の指示方法と、電子プレゼンテーションの進め方との齟齬が問題とされるようになってきた。 And instruction method of the reference position which has been used in the presentation of a conventional, discrepancy between how to proceed electronic presentation has come to be a problem. 【0004】プレゼンテーション用ソフトウエア(アプリケーション)を用いて表示した画面上の参照個所を指示する方法として、現在ではおもに2種類の方法がある。 [0004] as a way to tell a reference point on the screen that was displayed using the presentation software (application), there are mainly two types of methods in the current. 一つは、マウスなどのパーソナルコンピュータに固有の位置指示装置を用いて位置指示用アイコンを操作し、パーソナルコンピュータ画面内での指示を行うものである。 One is to manipulate the position indication icon with a unique position indicating device in a personal computer such as a mouse, in which an instruction of the personal computer screen. もう一つは、物理的な指示棒や、またはレーザポインタの光点によって、直接にプレゼンテーションの投影画面に向けて指定を行うものである。 The other is by physical fescue and or a laser pointer light spot, and performs specified toward the projection screen directly to the presentation. これらのどちらかを選択する、または両方を使用する方法が一般的である。 Selecting either of these, or a method of using both is common. 【0005】しかし、前者の場合は、従来からのプレゼンテーションの方法にそぐわないため、聴衆との対話的な印象を与えつつ自然な操作感を得ることは難しい。 [0005] However, in the case of the former, since this would defeat to the method of presentation of the art, it is difficult while providing an interactive impression of the audience get a natural operation feeling. 一方、後者の場合には、プレゼンテーション用アプリケーションの操作を、別の手段によって行う必要がある。 On the other hand, in the latter case, the operation of the presentation application, it is necessary to perform by other means. また、大画面スクリーンを用いたプレゼンテーションなどにおいては、後者の方法では参照個所が判然としない場合や、指示が物理的に困難になる場合がある。 In the presentations with big screen, in the latter method and when the reference point is unclear, there is a case where an instruction is physically difficult. このように、より自然な操作感と、コンピュータのインタラクティブ的機能の活用を共存させる手法が模索されている。 Thus, the more natural operation feeling, techniques coexist utilization of interactive functions of the computer are sought.
この問題に対し、さまざまな発明が考案されている。 For this problem, various invention have been devised. 【0006】特開平6-308879号公報においては、表示画面(またはその周辺付近)から発せられる光による情報を指示器に取り込み、指示器の位置と軸方向を算出して、画面上にポイントマークを示す方法が提案されている。 [0006] In JP-A 6-308879, JP-uptake in indicator information by light emitted from the display screen (or near the periphery thereof), and calculates the position and axial direction of the indicator, points marked on the screen way to indicate there has been proposed. 【0007】特開平8-95707号公報においては、赤外線カメラでスクリーンを撮影し、指示棒の落とす影の先端位置を検出して指示者が示している位置を算出する方法が提唱されている。 [0007] In JP-A-8-95707 discloses captures the screen with an infrared camera, a method of calculating the position instructor to detect the leading end position of the shadow indicates dropping the indicator rod have been proposed. 【0008】特開平10-39994号公報においては、説明者の位置、傾き、注視点を、説明者が身に付けた器具で随時計測することにより、指示されている位置を算出する方法が示されている。 [0008] In JP-A 10-39994 and JP-position of the presenter, the inclination, the fixation point, by from time to time measured by the instrument presenter is worn, the method of calculating the position indicated is shown It is. 【0009】特開平9-120340号公報においては、使用者がレーザビームポインタで画像上を指示した位置を、フォーカシングを調整して、スポット中心を固定したままでスポット径を拡大させてセンサに入射させ、各センサへの入射タイミングを検出して求める方法が提唱されている。 [0009] In JP-A 9-120340, JP-incident position specified by the user on the image with a laser beam pointer, and adjust the focusing, the sensor is enlarged spot diameter while fixing the spot center is a method for determining by detecting the incident timing of each sensor have been proposed. 【0010】また、近年においては、特開2000-81950号公報において、スクリーン上の画像に指示棒で指示された輝点をカメラで撮像し、この輝点の位置および点滅パターンを検出する技術が提唱されている。 Further, in recent years, in JP-A-2000-81950, technology captures a bright point indicated by the indication stick to the image on the screen by the camera, detects the position and blinking pattern of the bright points It has been proposed. 【0011】 【発明が解決しようとする課題】上述の特開2000-81950 [0011] SUMMARY OF THE INVENTION] The above JP 2000-81950
号公報で提唱された技術においては、指示棒で直接スクリーン上を指示しなければならず、大画面スクリーンを用いたプレゼンテーションなどにおいては、指示が物理的に困難になる場合がある。 In the technique proposed in JP, you must instruct on the screen directly pointing stick, in such a presentation using a big screen, there is a case where an instruction is physically difficult. 【0012】また、上述の特開2000-81950号公報で提唱された技術においては、カメラで常時スクリーンを撮像し、画像処理によってスクリーンに映った輝点(参照個所)を検出する。 Further, in the technique proposed in JP 2000-81950 publication described above, captured constantly screen with a camera, to detect bright spots reflected in the screen by the image processing (see point). この操作には、多大な計算負荷がかかる。 In this operation, it takes a great deal of computational load. この負荷を実時間処理で行うためには、高速な計算処理を必要とする。 To do this load in real-time processing requires fast computation processing. さらに、大画面スクリーンを用いて、レーザーポインタのような光学的なポインティングデバイスでスクリーンに光点を投影して位置指示を行う場合には、ポインティングデバイスの出力性能や、指示者との距離にも依存するが、さらに高い解像度でスクリーンを撮像しなければ、参照個所の検出が出来ない場合がしばしば発生することが想定される。 Furthermore, using a big screen, when performing position indication by projecting the light spot on the screen by an optical pointing device such as a laser pointer, the output performance and the pointing device, also on the distance between the instructor dependent, but if images the screen at higher resolution, it may not be able to detect the reference point often occurs is assumed. この場合には、 In this case,
カメラにより高い性能が必要とされ、それに伴い計算負荷もより増大する。 High performance by the camera are required, computational load also increases more accordingly. 【0013】そこで、本発明の目的は、大画面スクリーンを用いたプレゼンテーションなどにおいても、参照個所の指示が可能であり、自然な操作性を得ることができるプレゼンテーション技術を提供することである。 [0013] It is an object of the present invention, even in such a presentation using a big screen, an instruction reference point are possible and is to provide a presentation technique that can obtain a natural operability. 【0014】また、本発明の目的は、カメラによる高解像度の撮像が可能となり、多大な計算負荷を実時間処理で行うために、画像認識処理を高速に、効率良く、高い精度で行うことができるプレゼンテーション技術を提供することである。 Further, an object of the present invention enables high resolution imaging by the camera, a great deal of computational load for performing real-time processing, the image recognition processing at high speed, efficiently be performed with high precision it is to provide a presentation technology that can be. 【0015】 【課題を解決するための手段】前記第一の課題を解決するために、本発明においては、レーザポインタを代表とする光学的な指示器をもちいて、スクリーン上の参照位置に光点を投影する。 [0015] In order to solve the first object, according to an aspect of, the present invention, by using an optical indicator typified by laser pointer light to the reference position on the screen to project the point. そのスクリーンをカメラにより撮像した画像から、画像認識装置により画像処理を用いて光点を抽出し、同装置によりこの光点の形状を認識して参照位置を計算し、計算機により参照位置に分かりやすいシンボルを合成する。 The screen from the image captured by the camera using the image processing to extract the light spot by the image recognition apparatus, a reference position is calculated by recognizing the shape of the light spot by the device, easy to understand the reference position by computer to synthesize a symbol. そして、このシンボルを合成された画像をスクリーン上に投影する。 Then, projecting the image synthesized this symbol on the screen. 【0016】また、前記第二の課題を解決するために、 [0016] In order to solve the second problem,
複数のカメラを用いてスクリーンを撮像することにより高解像度の撮像が可能になる。 Imaging of high resolution made possible by imaging the screen using a plurality of cameras. さらに、その各カメラの画像を、別々の画像認識装置を用いて画像処理と認識処理を行うことにより、これらの処理の全工程を効率的に分散処理する。 Furthermore, an image of the each camera, by performing the recognition processing and image processing using different image recognition apparatus, efficiently distributed processing all the steps of these processes. 【0017】 【発明の実施の形態】以下、本発明の一実施の形態を説明する。 DETAILED DESCRIPTION OF THE INVENTION Hereinafter, an embodiment of the present invention. 【0018】図1は、本発明を利用したプレゼンテーションシステムの一実施の形態を示す構成図である。 [0018] Figure 1 is a block diagram showing an embodiment of a presentation system using the present invention. 【0019】スクリーン100は、プレゼンテーション内容を、画像として表示するスクリーンを示している。 [0019] The screen 100 shows a screen that displays the contents of presentation, as an image. この画面が投影されるスクリーン面は、平面、非平面のいずれでもありうる。 Screen surface to the screen is projected may be either flat, non-planar. このスクリーンが特殊な形式のものであっても、本発明は対応が可能となっている。 Even those this screen a special form, the present invention is able to take action. 【0020】指示者105は、プレゼンテーションの講話の最中、参照するべき内容が表示されているスクリーン [0020] The instructor 105, during the lecture of presentation, content should refer is the display screen
100上の個所に向けて、光学的ポインティングデバイス1 Toward position on 100, the optical pointing device 1
04の投射光を投影する。 To project the 04 of the projected light. 102は、指示者105が保持するポインティングデバイス104で投射された光点を示している。 102 shows a light spot instructor 105 is projected by the pointing device 104 to hold. また、103は、ポインティングデバイス104で指示されたスクリーン画面上の指示位置を示すための視覚的イメージ(シンボル)を表す。 Further, 103 represents a visual image for indicating a designated position on the screen the screen instructed by the pointing device 104 (symbol). このイメージ104は、光学的ポインティングデバイスの指示位置を強調するために描かれたものであり、計算機114上で動作するプレゼンテーション用アプリケーション、もしくはその補助アプリケーションによって作成され、画像表示装置108内のプロジェクタ106によって、プレゼンテーション内容とともに表示されるものである。 The image 104 has been drawn to emphasize the indication position of the optical pointing device, a presentation application running on the computer 114, or created by the auxiliary application, the projector 106 of the image display device 108 by, it is intended to be displayed along with the presentation content. 以下では、これを指示アイコンと表記する。 In the following, referred to as instruction icon this. 図1における106はスクリーンに画面を投影するプロジェクタを表す。 106 in Figure 1 represents a projector for projecting a picture onto the screen. このプロジェクタ106 The projector 106
は、画像表示装置108内の歪み補正装置115の処理によって送られてきたスクリーン用補正後の画像データを、スクリーン100に投影する。 The image data after correction screen sent by the processing of the distortion correction device 115 of the image display device 108 is projected on the screen 100. このプロジェクタ106は、複数存在する場合もある。 The projector 106 may also be more present. 【0021】非平面スクリーンに画像を投影する際には、この歪み補正装置115は、プレゼンーテンション用アプリケーションが動作している計算機114が出力するプレゼンテーションの画像(以下においては、この画像を原画像と表記する)を入力として受け取り、スクリーン100の歪みに合わせて補正した画像をプロジェクタ106 [0021] When projecting an image onto a non-flat screens, the distortion correction device 115, in the presentation image (hereinafter to be output from the computer 114 to an application for presentation over tension is operating, the image original image It receives as input the title to) and the image corrected in accordance with the distortion of the screen 100 projector 106
に出力する。 And outputs it to. この歪み補正装置115には、以上の機能を保有する既存の製品を使用するものとする。 The distortion correction device 115, shall use existing products that possess more functions. プレゼンテーションの動作中、スクリーン100の観測を続ける計測カメラ107‐1,107‐2が存在する。 During the presentation of the operation, measurement camera 107-1 and 107-2 to continue the observation of the screen 100 is present. 図1にはこのようなカメラが2台のみ図示されているが、これはカメラの台数を2台のみに限定するものではない。 Such cameras are shown only two in Figure 1, this is not intended to limit the number of cameras only two. 後述するように、 As will be described later,
このカメラは一台以上、任意の台数だけ設置することが出来る。 This camera can be installed more than just a single, arbitrary number. 【0022】図2は4台のカメラで平面スクリーンを撮像するときの状況を示したものである。 [0022] Figure 2 shows the situation when imaging a flat screen with four cameras. 301はスクリーンを、107‐1〜107‐4は301を撮像しているカメラをそれぞれ示している。 301 screen, 107-1~107-4 show respectively a camera that captures a 301. これらのカメラはスクリーンの表示画面が撮像できる表面に設置される。 These cameras screen of the display screen is placed on the surface to be imaged. または透過式スクリーンの場合には、スクリーンの裏面が撮像できる場所でも良い。 Or in the case of transmission type screen, the back surface of the screen may be a location that is captured. 図2のように、カメラが複数存在する場合には、各々のカメラはスクリーンの一部分を撮像しているが、全撮像領域を統合すると、画像表示領域全体を余すことなく撮像できるような位置に設置されている。 As in Figure 2, when the camera there is a plurality, but each camera is capturing part of the screen, when integrating the entire imaging area, in a position that allows imaging without leaving the entire image display area is set up. もちろんこれらのカメラが撮像する領域は互いに重複していても良い。 Of course area these camera imaging may not overlap each other. 【0023】図1に戻り、画像認識装置110‐1,110‐2 [0023] Referring back to FIG. 1, the image recognition apparatus 110-1, 110-2
は、カメラ107‐1,107‐2の送ってくる画像から、スクリーン100に映っている、ポインティングデバイス104で投射された光点の位置と形状を読み取る。 From the image coming sent by the camera 107-1 and 107-2, is reflected in the screen 100, reads the position and shape of the light spot projected by the pointing device 104. 画像認識装置 Image recognition device
110‐1,110‐2には、基本的に同種類の実装がなされた装置を複数用い、並列処理を行わせる。 The 110-1, 110-2, using a plurality of essentially apparatus same kind of mounting is made to perform parallel processing. 図1には、画像認識装置は2台のみ図示されているが、これは画像認識装置の台数を2台のみに限定するものではない。 1 shows, the image recognition apparatus are depicted only two, which does not limit the number of the image recognition apparatus only two. 【0024】本実施の形態においては、上記のカメラと画像認識装置は同一の台数だけ用いている。 [0024] In this embodiment, the above-described camera and image recognition device is used by the same number. ただし、この発明において、画像認識装置の台数がカメラの台数によって制限されるわけではない。 However, in the present invention, the number of image recognition apparatus not limited by the number of cameras. カメラ数台分の画像を単一の画像認識装置で処理する、またはカメラ一台分の画像を数台の画像認識装置で処理することも想定する。 Processing the image of several cars camera with a single image recognition device, or also contemplates processing the image of a single component cameras few cars image recognition apparatus. 【0025】情報統合用装置113では、画像認識装置110 [0025] In the information integration unit 113, the image recognition device 110
‐1,110‐2が送ってきた、互いに矛盾する可能性のあるデータから、もっとも蓋然性の高い候補を採択する。 -1,110-2 has been sent, from the data that are potentially inconsistent with each other, to adopt the highest probability candidates. また、採択された位置情報を、プレゼンテーション用のアプリケーションが動作する計算機114に送る。 Also, the position information adopted, sent to the computer 114 where the application for presentation to operate. 【0026】プレゼンテーション用アプリケーションは計算機114によって動作し、表示画像を生成する。 The application for presentation operates by computer 114, to generate a display image. これらのアプリケーションは、指示アイコン、すなわち指示位置を強調する視覚イメージ103を、情報統合用装置113 These applications, instruction icon, i.e. emphasize visual image 103 of the indicated position, information integration unit 113
で採択された位置に作成する。 In creating the adoption position. この指示アイコンは、画像表示装置108内のプロジェクタ106によって、プレゼンテーション内容とともに表示されるものである。 The instruction icon is by the projector 106 of the image display device 108 is intended to be displayed with the presentation content. 【0027】上記カメラ107、画像認識装置110、情報統合用装置113、計算機114、および画像表示装置108の接続状況を示したものが図3である。 [0027] The camera 107, the image recognition device 110, information integration unit 113, is shows the connection status of the computer 114 and the image display apparatus 108, a 3. ここで図示されている画像認識装置110‐1,110‐2,…,110‐nは、カメラ10 Where it is shown that the image recognition apparatus 110-1, 110-2, ..., 110-n includes a camera 10
7‐1,107‐2,…,107‐nが撮像したプレゼンテーション画面の画像を入力として受け取り、参照位置指示の発光点と判断された画像の特徴量を、出力として情報統合用装置113に送る。 7-1,107-2, ..., it receives as input an image of a presentation screen 107-n is captured, the feature quantity of the light emitting points and the determined image of the reference position indication and sends it to the information integration unit 113 as an output. このときに送られる特徴量は、一組であるとは限らない。 Feature amount sent at this time, not necessarily the one set. カメラ107‐1,107‐2,…,107‐nの撮像した画像範囲内に参照位置指示の発光点の候補が複数発見された場合には、画像認識装置110‐1,110‐2, Camera 107-1 and 107-2, ..., 107-n when the candidate of the emission point of the reference position indication within the captured image range is more discovered that the image recognition apparatus 110-1, 110-2,
…,110‐nは、複数の位置について情報を送る。 ..., 110-n sends the information for a plurality of positions. もし、 if,
範囲内に候補が発見できなかった場合には、発見できなかったという情報を送信する。 If the candidate can not be found within the range, it transmits the information that could not be found. また、これらの情報にはノイズによって判断された誤情報が含まれることも考えられる。 Further, these information is also conceivable that contain erroneous information determined by the noise. 【0028】情報統合用装置113では、画像認識装置110 [0028] In the information integration unit 113, the image recognition device 110
‐1,110‐2,…,110‐nが送ってきた、互いに矛盾する可能性のあるデータから、もっとも蓋然性の高い候補を採択する。 -1,110-2, ..., 110-n has been sent, from the data that are potentially inconsistent with each other, to adopt the highest probability candidates. また、採択された位置情報を、プレゼンテーション用のアプリケーションが動作する計算機114に送る。 Also, the position information adopted, sent to the computer 114 where the application for presentation to operate. 【0029】プレゼンテーション用アプリケーションは計算機114によって動作し、表示画像を生成する。 The application for presentation operates by computer 114, to generate a display image. この装置は、通常の汎用計算機をこのシステムに動的に接続することで代用することも出来る。 This device, a conventional general-purpose computer can be omitted by dynamically connected to the system. またはシステムに固有な専用の計算機を利用しても良い。 Or it may be utilized a unique dedicated computer in the system. 以下では、これをプレゼンテーション用計算機と呼ぶ。 In the following, this is referred to as presentation for the computer. 情報統合用装置11 Information integration device 11
3から送られてきた情報は、計算機114上で動作しているプレゼンテーション用のアプリケーション、またはその補助アプリケーションに受信される。 Information sent from the 3 is received application for presentation running on the computer 114 or its auxiliary application. これらのアプリケーションは、情報統合用装置113から送られてきた情報に基づいて、指示アイコン、すなわち指示位置を強調する視覚イメージ103の作成をおこなう。 These applications are based on the information sent from the information integration unit 113, instruction icon, i.e. performs a creation of emphasizing visual image 103 of the indicated position. そして、視覚イメージ103を含む表示画像データを、画像表示装置108に送る。 Then, the display image data including the visual images 103, transmitted to the image display device 108. 【0030】画像表示装置108は、計算機114から送られた視覚イメージ103を含む表示画像データに基づいて、 The image display device 108 based on the display image data including the visual images 103 sent from the computer 114,
スクリーン100に画像を表示する。 To display an image on the screen 100. 【0031】以下、本実施の形態の動作について説明する。 [0031] Hereinafter, the operation of the present embodiment. 【0032】図4では、本発明を利用したプレゼンテーションシステムの一実施の形態の処理の流れが示されている。 [0032] In Figure 4, the flow of processing of an embodiment of a presentation system using the present invention is shown. スクリーン100上には、プレゼンテーション用計算機114の出力画面が映し出されているものとする。 On the screen 100, it is assumed that the output screen of the presentation computer 114 is displayed. また、同スクリーン上には、指示者105が保持する光学的ポインティング装置104によって、発光点が投影されている。 Further, on the same screen, the instructor 105 by the optical pointing device 104 that holds, the light-emitting points are projected. 【0033】カメラ107における処理210では、上記のスクリーン100をカメラ107によって撮像する。 [0033] In the process in the camera 107 210 captures the screen 100 by the camera 107. このときに使用されるカメラ107は、デジタル画像の出力機能を持つ既存のカメラを利用することが出来る。 Camera 107 used in this case, can utilize existing camera having an output function of the digital image. 本実施の形態において、カメラは一台以上、任意の台数だけ存在する。 In this embodiment, the camera is more than a single, there is only an arbitrary number. 図2において、107-1〜107-4は、スクリーン301を撮像しているカメラをそれぞれ示している。 2, 107-1~107-4 shows a camera that images the screen 301, respectively. これらのカメラはスクリーンの表面、または透過式スクリーンの場合にはスクリーンの裏面が撮像できる場所に設置されている。 These cameras when the surface of the screen or translucent screen, the back surface of the screen is installed in a location that can be captured. 図2で図示されるように、カメラが複数存在する場合を想定する。 As shown in FIG. 2, it is assumed that the camera there is a plurality. 各々のカメラ107-1〜107-4はスクリーン301の一部分を撮像しているが、全撮像領域を統合すると画面表示領域全体が余さず撮像できるような位置に設置されている必要がある。 Each camera 107-1~107-4 is being imaged portions of the screen 301, there needs to be installed in a position that allows imaging without Yosa to the entire screen display area integration the entire imaging area. これらのカメラが撮像する領域は互いに重複していても良い。 Regions in which these cameras are imaging may not overlap each other. 各カメラは決められた周期毎にプレゼンテーションの行われているスクリーンを撮像する。 Each camera captures the screen being made of presentations for each period which is determined. これらは、本システムが作動を続ける期間にわたって、撮像を続けるものとする。 They present system over a period of continued operation, we shall continue imaging. 【0034】図5および図6で図示されるように、スクリーンが平面ではない場合にも、上記の条件は変わらない。 [0034] As shown in FIGS. 5 and 6, the screen even when not planar, the above conditions are not changed. 図5は、没入型の仮想空間を提供する装置に対して、本発明を適用した例である。 5, the apparatus for providing a virtual space immersive, an example of applying the present invention. 3面の大画面スクリーン401,402,403が、利用者400の周囲を取り囲むように設置されている。 Big screen 401 of three sides and is provided so as to surround the periphery of the user 400. このとき、カメラ107-1,107-2はスクリーン401,402,403の全てを撮像することができる適切な位置に設置される。 At this time, the camera 107-1 and 107-2 are installed in an appropriate position capable of imaging all of the screen 401. この場合、カメラの台数をスクリーンの枚数に合わせる必要はない。 In this case, it is not necessary to match the number of cameras to the number of the screen. また、図6は、本発明を球面スクリーンに適用した場合の図である。 6 is a diagram in which the invention is applied to a spherical screen. 球面スクリーン501の全ての範囲を撮像するために、適切な台数のカメラを設置する必要がある。 To image a full range of spherical screen 501, it is necessary to install a suitable number camera. 【0035】このように、複数のカメラを用いてスクリーンを撮像することにより高解像度の撮像が可能になる。 [0035] Thus, imaging of high resolution made possible by imaging the screen using a plurality of cameras. さらに、その各カメラの画像を、別々の機器を用いて画像処理と認識処理を行うことにより、これらの処理の全工程を効率的に分散処理することができる。 Furthermore, an image of the each camera, by performing the recognition processing and image processing using a separate device, it can be dispersed efficiently all steps of these processes. また、 Also,
このようにカメラを複数用いる手法により、スクリーンが曲面である場合にも、スクリーンの各部分に対して認識性能が向上する角度からの撮像が可能となる。 The method thus uses a plurality of cameras, when the screen is a curved surface also, recognition performance is possible to imaging from the angle of improving relative to each portion of the screen. 【0036】システム全体の中での、カメラの関係は図3で示されるような接続構造となっている。 [0036] in the entire system, the relationship between the camera has a connection structure as shown in Figure 3. 図4の処理 The process of FIG. 4
211においては、カメラ107-1〜107-nによって撮像された画像は、並列に画像認識装置110-1〜110-nに送信される。 In 211, the image taken by the camera 107-1 to 107-n are transmitted to the image recognition apparatus 110-1 to 110-n in parallel. カメラ107-1〜107-nから画像認識装置110-1 Image recognition device from the camera 107-1 to 107-n 110-1
〜110-nに送信される出力データは、各画素の色情報を Output data that is sent to to 110-n, the color information of each pixel
RGB形式で収めた二次元配列、すなわちデジタル画像であるものとする。 Two-dimensional array of matches in RGB format, i.e. it is assumed that a digital image. ただし機器間でデータを転送する際には、RGB値の配列で出力送信されることに限定されるものではない。 However when transferring data between devices is not intended to be limited to being output transmitted by the array of RGB values. 既存の方法をもちいて適宜、適切な圧縮処理を行って転送することも想定する。 Suitably by using an existing method, also it contemplates the transfer take appropriate compression processing. 【0037】本実施の形態においては、各カメラはそれぞれ対応する画像認識装置を一台のみ持つ。 [0037] In this embodiment, each camera has only a single image recognition apparatus corresponding respectively. ただし、この発明において、画像認識装置の台数がカメラの台数によって制限されるわけではない。 However, in the present invention, the number of image recognition apparatus not limited by the number of cameras. カメラ数台分の画像を単一の画像認識装置で処理する、またはカメラ一台分の画像を数台の画像認識装置で処理することも想定する。 Processing the image of several cars camera with a single image recognition device, or also contemplates processing the image of a single component cameras few cars image recognition apparatus. 【0038】画像認識装置110-1〜110-nでは、上記カメラ107-1〜107-nから周期的に送られて来るデジタル画像を、図4の処理212において、入力として受け取る。 [0038] The image recognition apparatus 110-1 to 110-n, the digital image sent periodically from the camera 107-1 to 107-n, in the process 212 of FIG. 4, it receives as an input. 次に、処理213、処理214により、その画像内からスクリーン100に投影された発光点102と推測される個所を検出し、その個所に関する座標、形状の情報などが含まれた構造体のリストを作成する。 Next, the process 213, the processing 214 detects a location suspected of emitting points 102 projected from the image on the screen 100, the coordinates for that location, a list of such shapes information contained structure create. そして、処理215により、上記構造体のリストを出力として情報統合用装置11 Then, the processing 215, the information integration unit as an output a list of the structures 11
3に送信する。 To send to the 3. この出力データ(構造体のリスト)の形式については後述する。 The format of this output data (list structure) will be described later. 【0039】処理213、処理214は画像認識装置110-1〜 [0039] processing 213, processing 214 image recognition device 110-1~
110-nによって並列に実行される。 It is executed in parallel by 110-n. 画像認識装置110-1 Image recognition device 110-1
〜110-nには同一の装置を用いるものとする。 The to 110-n it shall be used the same device. 【0040】情報統合用装置113は、画像認識装置110- The information integration device 113, image recognition device 110-
1〜110-nから送られてきたデータを、処理216により受信する。 The data sent from 1 - 110-n, receives the processing 216. 処理217においては、画像認識装置110-1〜1 In processing 217, the image recognition apparatus 110-1~1
10-nから送られてきたデータでは2つの画像に分かれているが、もともと1つの発光点による画像であったものを探し出し、このような2つの画像の構造体のリストを合成する。 Although the data sent from the 10-n is divided into two images, find what was an image according to the original one light emitting point, to synthesize a list of structures of such two images. 次に、処理218においては、処理217を経たデータの中から、ポインティングデバイスによる参照位置である蓋然性が高い画像の構造体のリストを選定する。 Next, in process 218, from among the data has been processed 217, probability is the reference position of the pointing device to select a list of structures of high image. 次に、処理219においては、処理218において選定された構造体のリストを、計算機114に送信する。 Next, in process 219, a list of the selected structure in the processing 218, and transmits to the computer 114. 【0041】計算機114は、処理221により、情報統合用装置113から送られてきたデータを、受信する。 The computer 114, the processing 221, the data sent from the information integration unit 113, receives. 次に、 next,
処理222により、情報統合用装置113から送られてきたデータに基づいて、ポインティングデバイスによる参照位置である蓋然性が高い位置に、参照位置を強調するための画像(矢印等)を配置する。 The process 222, based on the data sent from the information integration unit 113, probability is the reference position of the pointing device in a high position, to place the image for emphasizing a reference position (arrow or the like). 次に、処理223により、 Then, by the processing 223,
参照位置を強調するための画像を配置した画像データを、画像表示装置108に送信する。 The image data which includes image for emphasizing a reference position, and transmits to the image display device 108. 【0042】画像表示装置108は、処理224により、計算機114から送信された画像データを受信する。 The image display device 108, the process 224 receives image data sent from the computer 114. 次に、処理225により、画像データに、歪み補正装置115により、 Next, the process 225, the image data, the distortion correction device 115,
スクリーンの歪みに合わせて、歪みを与える。 In accordance with the distortion of the screen, giving the distortion. 最後に、 Finally,
処理226により、プロジェクタ106で、画像データをスクリーン100に表示する。 Treatment 226, the projector 106 displays an image data on a screen 100. 【0043】画像認識装置110-1〜110-nによる処理21 The processing by the image recognition device 110-1 to 110-n 21
3、処理214の処理のより詳細な流れを図7に示す。 3 shows a more detailed flow of processing of the processing 214 in Fig. 以下では、図7に基づいて、画像認識装置110-1〜110-nのなす処理を解説する。 Hereinafter, based on FIG. 7, which describes the forming process of the image recognition apparatus 110-1 to 110-n. 【0044】これに先立ち、図8に、この処理を実現することの出来る装置の一構成例を表したブロック図を挙げる。 [0044] Prior to this, in FIG. 8, mentioned block diagram showing a configuration example of a device capable of realizing this process. 図8に示す装置においては、バス707に、CPU7 In the apparatus shown in FIG. 8, the bus 707, CPU 7
01と、主記憶装置702と、入出力I/F部703と、外部記憶装置704とが接続されている。 01, a main memory 702, an input-output I / F unit 703, and an external storage device 704 is connected. 入出力I/F部703には、出力機器705と、入力機器706とが接続されている。 The input-output I / F unit 703, an output device 705, an input device 706 is connected. CPU CPU
701は、主記憶装置702に記録されているプログラムに従い各種の処理を実行する。 701 performs various processes in accordance with programs recorded in the main memory 702. 主記憶装置702と外部記憶装置704には処理を実行するに当たって必要なプログラムやデータが記憶される。 The main storage device 702 and an external storage device 704 necessary program and data in executing the process is stored. 外部記憶装置704としては、ハードディスク装置等のほかに、可搬型記録媒体であるフロッピー(登録商標)ディスク等を使用することもできる。 The external storage device 704, in addition to such as a hard disk drive, it is also possible to use a floppy (registered trademark) disk, etc. which is a portable recording medium. 入出力インターフェイス部(入出力I/F部)703では、カメラからの入力データ、情報統合装置へのへの出力データ等をやり取りするために必要なデータの転送手段を備えているものとする。 The output interface unit (input-output I / F section) 703, and shall have a transfer means of the data necessary for exchanging input data, output data, etc. to the to the information integrating unit from the camera. 本実施の形態においては、 In this embodiment,
以下の処理はCPU701によって実行されるものとする。 The following processing shall be performed by the CPU 701. ただし、このことは本処理を汎用のCPUによって動作することに限定するものではない。 However, this is not limited to operate the process by a general-purpose CPU. 以下に述べる各種処理と同等の機能を有する専用ハードウェアを使用することもできる。 It is also possible to use dedicated hardware having various processing equivalent to functions described below. 【0045】図4の処理212においては、上記のカメラから送られてきた画像情報を、入出力I/F部703を介して受信し、必要があれば既存の方法によって圧縮画像の展開作業を行う。 [0045] In the process 212 of FIG. 4, the image information sent from the camera, received via the input-output I / F unit 703, the expansion work of the compressed image by the existing methods, if necessary do. この展開処理はCPU701によって行われ、復元された画像は主記憶装置702に記憶される。 The expansion process is performed by the CPU 701, the reconstructed image is stored in the main memory 702. 【0046】処理213では、上記の方法でカメラから受信した画像に対して、幾何変換を行う。 [0046] In process 213, the image received from the camera in the manner described above, performs geometric transformation. 本実施の形態においては、この処理213はCPU701によって実行されるものとする。 In this embodiment, the process 213 shall be executed by the CPU 701. ただし、このことは処理213を汎用のCP However, CP of this thing is processing 213 general purpose
Uによって動作することに限定するものではない。 Not limited to be operated by the U. 処理 processing
213と同等の機能を有する専用ハードウェアを用いることも想定するものである。 It is also intended to assume the use of dedicated hardware having 213 equivalent functions. 【0047】処理213は、図7に示す処理801と処理802 The process 213 processes as 801 shown in FIG. 7 802
とからなる。 Consisting of. 処理801では、カメラで撮像した画像の歪みを補正することを目的とした幾何変換を行う。 In step 801, it performs geometric transformation for the purpose of correcting distortion of an image captured by the camera. この処理の入力と出力は、ともにデジタル画像情報である。 Input and output of this process are both digital image information. 出力される画像は、入力画像に対して幾何的な歪みを与えた画像となる。 Image output is an image given geometric distortion for the input image. 図9と図10を用いてこの幾何変換の様子を示す。 Illustrating how this geometric transformation with reference to FIGS. 9 and 10. 図9の901はある角度から撮像したスクリーン100の全体の像を示したものである。 901 in FIG. 9 shows the entire image of the screen 100 captured from an angle. あるカメラによって撮像される範囲902には、このスクリーンの像の一部分のみが含まれている。 In the range 902 to be imaged by one camera, it contains only a portion of the image of the screen. 処理801では、この画像から、図10に示されるような原画像(計算機114で生成された平面スクリーンデータ)における画素の位置に対応した画像を再構成する。 In process 801, from the image, to reconstruct an image corresponding to the position of the pixel in the original image (flat screen data generated by the computer 114) as shown in FIG. 10. 図10の1002は原画像の画像範囲を示している。 1002 of FIG. 10 shows the image area of ​​the original image. 画素位置905と画素位置1005、画素位置906と画素位置1006、画素位置907と画素位置1007、 Pixel position 905 and the pixel position 1005, the pixel position 906 and the pixel position 1006, the pixel position 907 and the pixel position 1007,
画素位置908と画素位置1008は、それぞれ対応した画素となっている。 Pixel position 908 and the pixel position 1008 has a corresponding pixels. 【0048】この幾何変換を行うための処理過程を示したフローチャートが図11に示されている。 The flowchart showing the process for performing the geometric transformation is shown in Figure 11. 以下ではこの図11を元に幾何変換の過程を説明する。 In the following description the process of geometric transformation to FIG. 11 to the original. この処理において、入力に用いられるのは前述の画像である。 In this process, for use in the input is above the image. 出力される画像は、RGB方式などのデジタル形式で表現された、色情報の2次元配列データである。 Image output is expressed in a digital format such as RGB system is a two-dimensional array data of the color information. この出力画像は、スクリーンに表示した元画像と同様の大きさと画像範囲を持つデジタル画像とする。 The output image is a digital image having the same size and the image range and the original image displayed on the screen. 入力データ、出力データ共に主記憶装置702上に置かれている。 Input data are placed on the output data both the main storage 702. 原画像が複数の画像に分割されている場合には、それらの画像の数と同数の出力画像が存在する。 If the original image is divided into a plurality of images, as many output images of those image exists. 【0049】出力画像の各画素は、色情報の他にも補助情報として一ビットのフラグを持つ。 [0049] Each pixel of the output image, also having one-bit flag as auxiliary information in addition to the color information. このフラグには、 The flag,
入力として得られた撮影画像に、その画素に対応する画像情報が含まれていたかどうかの判定が書き込まれる。 To the resulting photographed image as an input, the determination is written whether contains image information corresponding to that pixel.
以下、このフラグを未定義フラグと呼ぶ。 Hereinafter referred to as the flag undefined flag. 未定義フラグの状態について、再び図10に描かれている参照図をもちいて解説する。 The state of the undefined flag and commentary using a reference diagram depicted in Figure 10 again. 図9はスクリーン全体と、その状態を撮像するカメラの撮像状況を示している。 Figure 9 shows the overall screen, the imaging conditions of the camera for imaging the condition. プレゼンテーションに用いられたスクリーン901全体のうち、このカメラによって撮像された部分902の画像情報が、本処理8 Of the total screen 901 used in the presentation, the image information of the partial 902 captured by the camera, the process 8
01の入力画像として定義されたものである。 It is as defined as 01 of the input image. 一方、処理 On the other hand, processing
801の出力画像1001は、スクリーン901の全面が画像範囲の領域となっている。 The output image 1001 of 801, the entire surface of the screen 901 is in the area of ​​the image area. この範囲は図10で示される。 This range is shown in Figure 10. 10 Ten
05,1006,1007,1008によって囲まれる領域は、スクリーン全体のうち、この画像認識装置に対応づけられたカメラによって撮像された場所である。 Region surrounded by 05,1006,1007,1008, of the entire screen, a place taken by the association was camera to the image recognition device. この領域に対応する画素については前述の未定義フラグが真として定義される。 Undefined flag mentioned above is defined as a true for pixels corresponding to this region. それ以外の領域については、未定義フラグは偽と定義される。 For the other regions, undefined flag is defined as false. 【0050】処理801を行うに先立って、入力画素と出力画素の対応を記憶させたテーブルが2種類用意されている。 [0050] Prior to performing the process 801, a table having stored a corresponding output pixel and the input pixel are prepared two types. 2次元位置座標値情報のテーブルと、真偽値(未定義フラグ)テーブルである。 And two-dimensional position coordinate value information table is a boolean (undefined flag) table. これらのテーブルでは、 In these tables,
スクリーン上の画素の2次元位置座標値を入力として用いられ、対応する原画像上の2次元位置座標値情報と一ビットのデータ(未定義フラグ)が出力として得られる。 Used a two-dimensional position coordinates of the pixels on the screen as an input, two-dimensional position coordinate value information and one bit of data on the corresponding original image (undefined flag) is obtained as an output. これらのテーブルの実装例を図12に挙げる。 The implementation of these tables listed in Figure 12. この実装例では、主記憶のN番地からN+nm-1番地を位置座標値情報のテーブルとして使用し、M番地からM+nm-1番地を一ビットのフラグデータのテーブルとして利用する。 In this implementation, it uses the N + nm-1 address as a table of position coordinates information from address N of the main memory, utilizing M + nm-1 address as one of the bit of the flag data table from the M addresses.
入力座標(a,b)に対応した出力のx座標、出力のy座標、 Input coordinates (a, b) x-coordinate of the output corresponding to, y coordinates of the output,
未定義フラグの各データは、N+2nb+2a番地、N+2nb+2a+1 Each data undefined flag, N + 2nb + 2a address, N + 2nb + 2a + 1
番地、M+nb+a番地に対してメモリ読み込みを行うことで得ることが出来る。 Address, M + nb + a can be obtained by performing a memory read to the address. この2次元位置座標値情報のテーブルに組み込むデータの作成の仕方は後述する。 How to create the data incorporated into table in this two-dimensional position coordinate value information will be described later. 真偽値(未定義フラグ)テーブルは、カメラで撮像された画素の位置座標に対応する番地に対しては真、カメラで撮像されなかった画素の位置座標に対応する番地に対しては偽が格納される。 Boolean (undefined flag) table, for the address corresponding to the position coordinates of the pixels captured by the camera true, for the address corresponding to the position coordinates of a pixel that has not been captured by the camera is false It is stored. 【0051】図12に示した2次元位置座標値情報のテーブルについての説明図を図13に示す。 [0051] The illustration of the table of the two-dimensional position coordinate value information shown in FIG. 12 is shown in FIG. 13. 図12に示した2次元位置座標値情報のテーブルは、図13に示すように、歪んだスクリーン上の各座標位置は、平面スクリーン上のどの座標位置に対応するかを示している。 Table 2 dimensional position coordinate value information shown in FIG. 12, as shown in FIG. 13, the coordinate position on the distorted screen shows corresponds to which coordinate position on a plane screen. 【0052】では、図11に示した幾何変換の過程を説明する。 [0052] Now, describing the process of geometric transformation illustrated in FIG. 11. 【0053】まず、画像認識装置からの出力画像の各画素の色情報データとフラグを0に初期化する(ステップ1 [0053] is initialized to 0 color information data and the flag of each pixel of an output image from the image recognition device (Step 1
101)。 101). 【0054】次に、画像認識装置からの出力画素の一つを選択し、その画素の位置情報をキーとして真偽値テーブルの値を読む(ステップ1102)。 Next, select one of the output pixels from the image recognition device, read the value of the boolean table position information of the pixel as a key (step 1102). このとき真偽値テーブルから読み込まれるのは、その出力画素に対応している画像認識装置への入力画素の存在を表す1ビットのデータである。 Is is given read from this time truth value table is a 1-bit data indicating the existence of the input pixel to the image recognition apparatus corresponding to the output pixel. このデータは、該当する出力画素が、カメラの撮像範囲に含まれていたかどうかを表す。 This data is relevant output pixel, indicating whether or not included in the imaging range of the camera. 【0055】次に、ステップ1102で読み込まれた真偽値テーブルの値が、真であるか偽であるかを判定する(ステップ1103)。 Next, the value of the read truth value table in step 1102, determines whether it is true or false (Step 1103). 【0056】もし、ステップ1103において偽と判定され、出力画像に対応する画素が、入力画像の範囲に含まれていなかった場合には、真偽値テーブルの返す1ビットの情報は偽となる。 [0056] If it is determined to be false in step 1103, the pixel corresponding to the output image, if that were not included in the range of the input image, one bit of information returned by truth value table becomes false. その場合には、出力画素の未定義フラグに偽を書き込み、2次元位置座標値情報のテーブルから読み込んだ位置座標の方は使用しない。 In that case, write false undefined flag output pixel, the direction of the position coordinates read from the two-dimensional position coordinate value information table is not used. そして、 And,
ステップ1107へ進む(ステップ1104)。 The process proceeds to step 1107 (step 1104). 【0057】ステップ1103において真と判定され、画像認識装置からの出力画像に対応する画素が、画像認識装置への入力画像の範囲に含まれていた場合には、真偽値テーブルの返す1ビットの情報は真となっている。 [0057] is determined true and in step 1103, the pixel corresponding to the output image from the image recognition device, when contained in the range of the input image to the image recognition apparatus, 1 bit returned by Boolean table of information it has become a true. この場合には、2次元位置座標値情報のテーブルから読み込まれた座標値に基づいて対応する入力画素を参照する(ステップ1105)。 In this case, it refers to the input pixel corresponding on the basis of the coordinate values ​​read from the two-dimensional position coordinate value information table (step 1105). 【0058】次に、画像認識装置からの出力画素の未定義フラグにも真を書き込む。 Next, write true in undefined flag output pixel from the image recognition device. また、2次元位置座標値情報のテーブルから読み込まれた座標値に基づいて参照した入力画素の色情報を、出力画素の色情報に複写する(ステップ1106)。 Further, the color information of the input pixel referenced based on the coordinate values ​​read from the two-dimensional position coordinate value information table is copied to the color information of the output pixel (step 1106). この際に、入力画像から、その周辺数画素分の色情報を読み込み、それらの色情報の間で補間を行い、出力画素の色情報とする手法を採用することもできる。 At this time, from the input image, it reads the color information of the surrounding number pixels, performs interpolation between those color information, it is also possible to employ a method of the color information of the output pixel. 【0059】次に、ステップ1107において、全出力画素の処理が終了したか否かを判定する。 Next, in step 1107, it determines whether all the output pixels has been completed. まだ処理を行っていない出力画素があるならば、ステップ1102へ戻り、その画素を選択して、上記の処理を再度行う。 If there is an output pixel that has not been processed yet, the process returns to step 1102, to select the pixel, perform the above processing again. 全出力画素に対して、以上の処理が終了したならば、そのフレームに対しての処理801の処理は終了する(ステップ110 If the total output pixel, the above processing is finished, processing of the processing 801 for that frame is terminated (step 110
8)。 8). この操作はカメラの画像周期に合わせて実時間作業で行われる。 This operation is performed in real time operations in accordance with the image period of the camera. 【0060】前述の幾何変換のための2次元位置座標値情報のテーブルは以下のようにして作成される。 [0060] The two-dimensional position coordinate value information for the aforementioned geometric transformation table is created as follows. このテーブル作成には、あらかじめ用意されたテストパターン画像を用いる。 The table creation, using the test pattern images prepared in advance. この画像の様子を図14に示す。 Illustrating how this image in Figure 14. テストパターン画像を、プロジェクタ106からスクリーン100に投影し、同スクリーンを、固定カメラによって撮影する。 The test pattern image, projected from the projector 106 to the screen 100, the same screen is captured by a fixed camera. ここで用いるテストパターンの画像は、スクリーン画面を撮影した画像上の画素の位置と、計算機114から送られる原画像上の画素位置とを容易に対応付けることができる画像となっている。 As used herein, the test pattern image has become the position of a pixel on the image obtained by photographing a screen display, an image in which the pixel position on an original image to be sent from the computer 114 can be easily associated. そのような画像の一例として、本実施例では白黒のモザイク状の画像を用いることが出来る。 An example of such an image, in the present embodiment can be used mosaic image black and white. 画像のモザイクのサイズが、1,2,4,8,16,32, The size of the mosaic of images, 1,2,4,8,16,32,
…画素のように、一辺の長さが2倍ずつ大きくなっている複数枚の画像を用意し、仮想記憶装置、または主記憶装置に記憶してあるものとする。 ... As the pixel, providing a plurality of images which the length of one side is increased by a factor of two, and that has been stored in the virtual storage device, or the main storage device. テストパターン画像がスクリーン画面に表示された様子を1401に示す。 The manner in which the test pattern image is displayed on the screen display shown in 1401. また、 Also,
テストパターン画像の原画像の様子を1402に示す。 The state of the original image of the test pattern image shown in 1402. 【0061】図15に、上記テストパターン画像を使用して、幾何変換のための2次元位置座標値情報のテーブルを作成する処理の流れのフローチャートを示す。 [0061] Figure 15, using the test pattern image, the flowchart of the process flow for creating a two-dimensional position coordinate value information table for the geometric transformation. 【0062】まず、もっとも大きなモザイクのテストパターン画像を読み込む(ステップ1300)。 [0062] First of all, read the test pattern image of the largest mosaic (step 1300). このモザイクの画像を歪んだスクリーンに投影して、カメラで撮像する And projected on the screen distorted images in mosaic, captured by the camera
(ステップ1301)。 (Step 1301). 続いて、各モザイクの白と黒が交差する端点を検出する(ステップ1302)。 Subsequently, the white and black of each mosaic is the endpoints crossing (step 1302). 次に、この検出された端点と、原画像の端点位置を対応付ける(ステップ130 Next, a the detected endpoint associates the end positions of the original image (step 130
3)。 3). このとき、画像内に含まれるモザイクの数が少数であれば、他のモザイクの端点と間違えることなく対応付けることが可能になる。 At this time, the number of mosaics contained in the image is if small, it is possible to associate without mistaking the end point of the other mosaic. この対応をテーブルに保存する Save this corresponds to the table
(ステップ1304)。 (Step 1304). 続いて、全てのモザイク画像を使用したか否かを判定する(ステップ1305)。 Subsequently, it is determined whether or not using all of the mosaic image (step 1305). 前のモザイクよりも一段階小さなモザイクの画像が存在するならば、その画像を読み込み(ステップ1307)、ステップ1301へ戻る。 If the image of the next lowest mosaic than the previous mosaic exists, reading the image (step 1307), the flow returns to step 1301. この際、先の画像による認識点を元にして作業することで、異なる座標値を対応付けることがなくなる。 In this case, by working based on the recognition point by the previous image, it is not necessary to associate the different coordinate values. 上記の方法によって、カメラで撮像した画像1401内の画素位置と、出力前の画像1402内の画素位置の組み合わせが判明するので、その情報をテーブルに保存する。 By the method described above, the pixel position in the image 1401 captured by the camera, since the combination of pixel positions in the output image before the 1402 is found, saves the information in the table. テストパターン画像だけでは対応が取れなかった画素位置の対応情報は、上記方法によって対応付けられた画像座標値の間を補間することで求めて、全出力画素の対応位置をテーブルに保存する(ステップ1306)。 Only test pattern image corresponding information of the pixel position corresponding did not take is determined by interpolating between the image coordinate values ​​associated with the method, stores the corresponding position of all the output pixels to the table (step 1306). この2次元位置座標値情報のテーブルは、スクリーンの位置および歪み、 The table the two-dimensional position coordinate value information, position and distortion of the screen,
カメラの位置と角度、その他の設定条件が変更されるたびに改めて求められるものとする。 Position and angle of the camera, and other setting conditions are assumed to be determined anew each time a change. 【0063】上述の特開2000-81950号公報で提唱された技術等の従来の技術においては、スクリーンが平面であることが想定されている。 [0063] In the prior art techniques such as that proposed in Japanese Patent No. 2000-81950 publication described above, it is envisaged the screen is planar. しかし現実には、スクリーンが歪みを持っている場合や、あらかじめ曲面であることが想定された上でプレゼンテーションシステムが設計されている場合がある。 But in reality, there is a case in which the screen or if you have a distortion, has been designed presentation system on which it has been assumed in advance curved surface. このようなシステムでは、スクリーンに投影する画像の歪み補正を行うことによって、より自然な画像が表示されるようにする配慮がなされている。 In such a system, by performing distortion correction of an image to be projected on the screen, considerations have been made to ensure that a more natural image is displayed. この場合には、スクリーン上の画像に指示された光点の位置情報を取得するにあたっても、上記の歪み補正による影響を考慮する必要性が生まれてくる。 In this case, in order to acquire the position information of the light spot instructed to the image on the screen is also a need is born to consider the influence of the above-mentioned distortion correction. また、平面として設計されたスクリーンにも、経年変化により歪みが生じてくることがある。 Further, there is also a screen which is designed as a flat, distortion arises due to aging. このようなときには、スクリーン上の画像に指示された輝点の位置の検出の精度を維持するために、スクリーン自身を物理的に修復しなければならなくなる。 In such a case, the order to maintain the accuracy of detection of the position of the image indicated bright spot on the screen will have to physically repair screen itself. 【0064】本実施の形態のように、デジタル化された撮像画像の画素位置と、プロジェクタに投影した原画像の画素位置が対応する関係を記録した2次元位置座標情報のテーブルを使用して幾何変換を行えば、指示位置の算出計算に当たって、非平面スクリーンやスクリーンの投影歪みを補正することができる。 [0064] As in this embodiment, geometry using the pixel positions of the digitized captured image, a table of two-dimensional position coordinate information pixel position of the projection original image was recorded corresponding relationship to projector by performing the conversion, it is possible when calculating the calculation of the indicated position, it corrects the projection distortion of the non-planar screen or screens. この歪み補正よって、より正確な指示位置の読み取りと指示内容の認識が可能となる。 The distortion correction Accordingly, it is possible to recognize the reading and instruction content of more accurate indication position. このことで、平面スクリーンのみならず、 In this fact, as well as flat screen only,
曲面スクリーンや、表示時に発生するプロジェクタの歪みにも柔軟に対応できるようになる。 Curved screen and will be able to also respond flexibly to the distortion of the projector which occurs at the time of display. また、スクリーンに経年変化による歪みが生じたときにも、ソフトウェア的に対応し、補正することが可能となる。 Furthermore, when strain is generated due to aging on the screen also, software to correspond, it is possible to correct. これにより、 As a result,
スクリーンが歪みを持っている場合や曲面である場合にも、参照個所の位置の検出を精度良く行うことができるプレゼンテーション技術を提供することができる。 Screen even when the case and curved surface has distortion, the detection of the position of the reference point can provide a presentation technique that can be performed accurately. 【0065】続いて、色の補正処理802を行う。 [0065] Subsequently, the color correction processing 802. この処理802は、前述の処理801によって得られた画像と、原画像との間に発生した色成分の差を減少させることを目的とする。 The process 802 is intended to reduce the image obtained by the processing 801 of the above, the difference between the color components that occur between the original image. この処理の手順は図16においてフローチャートとして示されている。 Procedure of this process is shown as a flowchart in FIG. 16. 以下このフローチャートに基づいて色補正処理802の動作を説明する。 Hereinafter will be described the operation of the color correction processing 802 based on this flowchart. 【0066】色補正処理802において、入力画像は、カメラから画像が送信されてくる周期に合わせて、前述の計算機114から送信される原画像である。 [0066] In the color correction processing 802, the input image in accordance with the period in which the image from the camera is transmitted, it is the original image transmitted from the computer 114 described above. この画像は、 This image,
入出力I/F 部703を通じて受信され、主記憶装置702上に保存される。 Received via input I / F unit 703, it is stored in the main storage device 702. 色情報の2次元配列データ構造、すなわちデジタル画像として定義される。 2-dimensional array data structure of the color information, that is, defined as a digital image. 色補正処理802において、出力画像は、色情報を2次元配列で収めたデジタル画像として構成される。 In the color correction processing 802, the output image is composed of color information as a digital image of matches in a two-dimensional array. 入力画像と出力画像は、同じサイズの画像データとなっているものとする。 Input image and the output image is assumed to be a picture data of the same size. また、入力色と出力色の対応を記憶させた色補正テーブルが用意されている。 The color correction table stores the correspondence between input color output color is prepared. この色補正テーブルに登録される情報の作成方法に関しては後述する。 It will be described later how to create information registered in the color correction table. 【0067】この色補正テーブルの実装方法の一例を図17にあげる。 [0067] One example of how to implement this color correction table in FIG. 17. 色情報のRGB値が、各成分毎に8bitのデータを持つものとする。 RGB values ​​of the color information is assumed to have the data of 8bit for each component. テーブルは、赤成分、緑成分、 Table, red component, green component,
青成分それぞれに対して256個の配列データ1701〜1703 256 sequence data for each of the blue component 1701 to 1703
が用意されており、各配列要素には変換後の数値が入っている。 There are prepared, containing numbers following conversion in each array element. この数値は、0から255の値をとる整数である。 This number is an integer with a value from 0 to 255. 【0068】図16に示すフローチャートにおいては、 [0068] In the flowchart shown in FIG. 16,
色補正処理802の出力画像のメモリを初期化した後(ステップ1501)、各入力画素を選択し(ステップ1502)、 After the memory of the output image of the color correction processing 802 initializes (step 1501), select each input pixel (step 1502),
選択された各入力画素について以下の処理を行う。 It performs the following processing for each input pixel selected. 画素の色情報を、赤成分、緑成分、青成分の3つに分割する。 The color information of the pixels, dividing red component, green component, into three of the blue component. それぞれの成分は0から255の値をとる整数データとなっている。 Each component has an integral data takes a value of 0 to 255. それぞれの成分に対応するデータを色補正テーブルから読み込む(ステップ1503〜ステップ1505)。 It reads data corresponding to the respective components from the color correction table (step 1503~ step 1505).
読み込んだ成分を再び合成して、出力用の色情報を作成する(ステップ1506)。 The read components again combined to create the color information for output (step 1506). この色情報を出力画像の対応する画素の色情報として書き込む(ステップ1509)。 Writing the color information as the color information of the corresponding pixel of the output image (step 1509). そして、 And,
全ての画素について上記の処理が終了したか否かを判定する(ステップ1510)。 It determines whether the above processing has been completed for all pixels (Step 1510). まだ処理されていない画素が有ると判定された場合には、次の画素を選択し(ステップ If it is determined that yet pixel that has not been processed is present, and selects the next pixel (step
1512)、ステップ1503へ戻る。 1512), returns to step 1503. 全ての画素について上記の処理が終了すると、出力画像を主記憶装置に保存して(ステップ1511)、処理802は終了する。 When all pixels above processing is terminated, and save the output image in the main memory (step 1511), process 802 ends. 【0069】上記処理802で使用される色補正テーブルは、図18に示すフローチャートの手順により、以下のようにして作成される。 [0069] The color correction table to be used in the process 802 by the procedure of the flowchart shown in FIG. 18, is fabricated as follows. まず、赤色成分についてのテーブルを作成する。 First, a table for the red component. 3色の成分が50%である色(50%グレー) Color three color components is 50% (50% gray)
を作成する(ステップ1601)。 To create a (step 1601). そのうちの赤色成分を0%に設定する(ステップ1602)。 The red component of which is set to 0% (Step 1602). プロジェクタに送る画面にこの色を投影し、それを計測カメラによって撮影する(ステップ1603)。 And projecting this color to the screen to be sent to the projector, and it captured by the measurement camera (step 1603). この処理で得られた色情報を、原画像の色情報に対応させてテーブルに記録する(ステップ160 The color information obtained by this process, to correspond to the color information of the original image is recorded in the table (step 160
4)。 Four). 赤色成分を1単位だけ増加させて(ステップ160 The red component is increased by one unit (step 160
7)、ステップ1603へ戻り、同様の操作を行う。 7), the process returns to step 1603 to perform the same operation. 赤色の全色成分について処理が終了したか否かを判定し(ステップ1605)、赤色の全色成分について処理が終了したならば、赤色成分に関するテーブルは完成となる。 Processing for all the color components of red, it is determined whether or not completed (step 1605), if the processing for all the color components of red has been completed, the table becomes completed regarding red component. 続いて、全ての色成分を選んだか否かを判定し(ステップ16 Subsequently, it is judged whether or not chose all color components (Step 16
06)、まだ選んでいない色成分がある場合には、ステップ1601へ戻る。 06), if there is a color component you do not already selected, the process returns to step 1601. このようにして、青色成分、緑色成分に関する色補正テーブルを作成する。 Thus, creating a color correction table blue component, to the green component. この色補正テーブルは、部屋の輝度、光量などの条件が変更されるたびに改めて求められるものとする。 The color correction table is assumed to be newly determined each time the room brightness, conditions such as amount of light is changed. また、スクリーン内でも場所による色の変化が考えられるため、スクリーンをいくつかの領域に分けて、それぞれ別の色補正テーブルを用いると精度を向上させることが出来る。 Further, since the change of color can be considered depending on the location in the screen, and divide the screen into several areas, it can be respectively improved accuracy when using a different color correction table. 【0070】次に、ポインティングデバイスの特徴量の抽出手順例を述べる。 Next, describing the extraction procedure of the feature quantity of the pointing device. ここでは例として、色情報を用いた特徴量の登録方法を述べる。 As an example, here, describing the characteristic amount of the registration method using color information. 【0071】スクリーンを指示する発表者が立つ平均的な位置を定め、基本位置と定める。 [0071] defines the average position the presenter stands to instruct the screen, defined as the basic position. プロジェクタによって50%のグレーが表示されたスクリーンに対して、その中央に向け、ポインティングデバイスの光を基本位置から当て、その時のスクリーンを撮像する。 The screen that displays 50% of the gray by the projector, towards its center, applying light of a pointing device from the basic position, to capture the screen at that time. この画像に、 In this image,
幾何変換処理801を行い、50%グレーのみが写っていたときの原画像との差分を取る。 It performs a geometric transformation processing 801, take the difference between the original image when it was reflected only 50% gray. 色情報が、ある閾値以上に変化していたすべての画素について、変化量の平均を取る。 Color information for all pixels that were changed over a certain threshold, taking the average of variation. この平均値をポインティングデバイスの色情報として保持する。 It holds this average value as the color information of the pointing device. 後で詳述する画像認識処理214の際には、 When image recognition processing 214 which will be described later,
この色情報との比較を行う。 And compares this color information. 以後、この色情報を登録色と呼ぶ。 Hereinafter referred to as the color information and the registered color. また、その図形の半径を求め、登録する。 In addition, the radius of the figure required, to register. 【0072】このようにして、ポインティングデバイス毎に特徴量を登録することが出来る。 [0072] In this manner, it is possible to register a feature amount for each pointing device. これにより、画像認識処理において、汎用性の高い判別を行うことが出来る。 Thus, in the image recognition processing can be performed with high discrimination versatile. 【0073】次に、図7に示した処理803について説明する。 Next, a description will be given of a process 803 shown in FIG. 画像認識をし易くするために2値画像を生成する工程が処理803である。 Generating a binary image in order to facilitate image recognition is processing 803. この工程の処理手順の一実施例を表したフローチャートが図19に示されている。 Flowchart showing an embodiment of a processing procedure of this step is shown in Figure 19. 以下、このフローチャートにしたがって処理803の手順を記す。 Hereinafter referred processing procedures 803 according to this flowchart. この処理803の入力は、2種類の画像データである。 The input of the processing 803 is the two types of image data. 処理801によって作成された出力画像を入力画像A You input the output image created by the processing 801 image A
とする。 To. また、処理802によって作成された出力画像を入力画像Bとする。 Further, an input image B output image created by the processing 802. また、この処理803の出力は画像A,画像Bと同一のサイズをもった2値画像であるとする。 The output of this process 803 is assumed to be binary images having image A, the same size as the image B. 主記憶装置702上に、あらかじめポインティングデバイスを画面に投射した時の登録色が登録されている。 On the main storage device 702, registered color when previously projecting the pointing device on the screen are registered. 複数のポインティングデバイスに対応しているならば、この登録色も複数登録されている。 If supports multiple pointing devices, the registered color is also registered more. この登録色の登録方法については上述した。 The above-described method for registering the registration color. ここでは、登録色ごとに以下の動作を行う。 Here, the following operation is performed for each registered color. 【0074】まず、一つの登録色を選択する(ステップ [0074] First of all, to select one of the registration color (step
1801)。 1801). 次に、画素の座標Pを一つ選択する(ステップ Next, selects one coordinate P of the pixels (step
1802)。 1802). 画像A,画像Bの色情報においては、各成分が Image A, in the color information of the image B, and the components
0から255の整数値を取っているものとする。 0 from it is assumed that taking the integer value of 255. その座標P The coordinates P
における画像Aの画素の色の赤成分と、同座標における画像Bの画素の色の赤成分との間で差を取り、結果に50 Take the color of the red component of the pixels of the image A, the difference between the color of the red component of the pixels of the image B at the same coordinates in the results in 50
%の成分、すなわち128を足す。 Plus percent of a component, namely a 128. 結果が0以下になった場合には、その足りない成分を切り捨てて0とし、結果が最大値、つまり255以上になった場合には、その超えた成分を切り捨てて最大値を与える。 If the result is 0 or less, and 0 to truncate the the missing component, if the result is the maximum value, that is 255 or more, gives the maximum value by truncating the exceeding components. この場合には255とする。 And 255 in this case. 同様の作業を、青、緑の成分についても行う。 The same work, blue, is also performed for the green component. この結果として得られた色情報Cを、現在選択されている登録色と比較する。 The color information C obtained as a result, compared with the registered color that is currently selected. 色情報Cの赤成分と登録色の赤成分との差の絶対値を取る。 Taking the absolute value of the difference between the red component and the registered color of the red component of the color information C. 同様の作業を、青、緑の成分についても行い、総和を取る。 The same work, blue, carried out also for the green component, take the total sum. この総和がある定められた基準値(閾値)よりも大きいか否かを判定する(ステップ1803)。 Determines greater or not than the reference value-determined with this sum (threshold) (step 1803). ステップ1803において、基準値(閾値)よりも大きいと判定された場合には、出力画像の座標Pの位置に0を書き込み(ステップ1805)、ステップ1806へ進む。 In step 1803, if it is determined to be greater than the reference value (threshold), writes a 0 to the position of the coordinates P of the output image (step 1805), the process proceeds to step 1806. 基準値(閾値)よりも小さいと判定された場合には、出力画像の座標Pの位置に1を書き込み(ステップ1 If it is determined to be smaller than the reference value (threshold), writes a 1 to the position coordinate P of the output image (Step 1
804)、ステップ1806へ進む。 804), the process proceeds to step 1806. 出力画像の座標Pの位置に書きこまれた値は、ポインティングデバイスによって投影された発光点と類似しているか否かを示している。 Write crowded value to the position coordinates P of the output image indicates whether similar to the light emitting point which is projected by the pointing device. 【0075】ステップ1806においては、全ての出力画素について、処理が終了したか否かを判定する。 [0075] In step 1806, for all the output pixels, and determines whether the process has been completed. ステップ Step
1806において、まだ処理が終了していない画素があると判定された場合には、ステップ1807へ進む。 In 1806, if it is determined that there is a pixel that has not yet been processed is completed, the process proceeds to step 1807. ステップ18 Step 18
07においては、次の画素を選択して、処理1803へ戻る。 In 07, it selects the next pixel, the process returns to 1803.
ステップ1806において、全ての出力画素について、処理が終了したと判定された場合には、ステップ1808へ進む。 In step 1806, for all the output pixels, when it is determined that the processing is completed, the process proceeds to step 1808. 全ての画素について以上の作業を行うと、ポインティングデバイスによって投影された発光点と色成分が近い点のみ1が書き込まれた2値画像が得られる。 When working on or for all the pixels, the binary image in which only the points near the projected light emitting point and the color components by the pointing device 1 is written is obtained. ステップ1808においては、得られた2値画像を、選択された登録色と対にして主記憶装置に保存し、処理804の入力画像とする。 In step 1808, the binary image obtained, and stored in the main storage device in the registered color and the selected pair, an input image processing 804. 次に、ステップ1809において、全ての登録色を選択したか否かを判定する。 Next, in step 1809, it determines whether to select all registration color. 選択していない登録色があると判定された場合には、ステップ1810において次の登録色を選択し、ステップ1802へ戻る。 If it is determined that there is a registration color not selected, select the next registered color in step 1810, it returns to step 1802. 全ての登録色を選択したと判定された場合、すなわち、全登録色について、上記の2値画像が作成された時点で、処理803の作業は終了する。 If it is determined that the selected all registered color, i.e., for all registered color, when the binary image mentioned above are created, the work process 803 ends. 【0076】図7に示した処理804は、処理803で作成された2値画像情報に対して、ポインティングデバイスの投影図とその位置を認識する処理を示す。 [0076] Figure 7 process 804 shown in, to the binary image information created in step 803, indicating the process of recognizing the projection view and its position of the pointing device. このような認識技術については様々な手法が提案、研究されている。 Various techniques have been proposed and studied for such recognition technology.
この処理804の入力は処理803で作成された2値画像と登録色との組み合わせのリストである。 Input of the process 804 is a list of combinations of the binary image created in step 803 the registration color. 出力は図20に図示される構造体1900を要素としたリストである。 The output is a list in which the structure 1900 illustrated in FIG. 20 as elements. この処理804では、上記の2値画像から抽出されたひとつながりの画像に対して、その中心点、長軸のなす角度とその長さ、前記の角度と直交する方向の長さ(短軸の長さ)、画素数を測定し、対応する登録色を含めてデータ構造体1900に書き込む。 In the process 804, the image of the person connections extracted from the binary image, the center point, major axis angle and its length, length in the direction perpendicular to the angle (the minor axis length), and measuring the number of pixels is written to the data structure 1900 including the corresponding registration color. これらの構造体が0個以上、不定数だけ得られるので、構造体のリストを作成し、それを出力とする。 These structures are 0 or more, since the obtained only indefinite, create a list of structures, make it output. 【0077】ここで、構造体1900を得るための処理804 [0077] Here, the process for obtaining the structure 1900 804
について説明する。 It will be described. なお、以下の説明は、処理803で作成された2値画像情報において、1が書きこまれている部分の画像が楕円形であるものと仮定して行う場合の処理である。 In the following description, the binary image information created in step 803, an image of the part 1 is written is the process for performing on the assumption that it is elliptical. 【0078】まず、処理803で作成された2値画像情報に対し、1が書きこまれている部分の画像を、連結部分にしたがって分割する。 [0078] First, with respect to the binary image information created in step 803, an image of the part 1 is written is divided according linking moiety. この処理は、連結している画像の1つ1つに対してIDを振ることで実現できる。 This process can be realized by swinging the ID to each one of the images are linked. 図2 Figure 2
1(a)に、2値画像情報の例を示す。 To 1 (a), showing an example of a binary image information. 図21(b) Figure 21 (b)
に、IDを振られた2値画像情報の例を示す。 , An example of a binary image information shake the ID. この処理に必要となるデータ構造は、図21(c)および図21 Data structures required for this process, FIG. 21 (c) and 21
(d)のようになっている。 It has become way of (d). 【0079】図21(c)は、画素毎にIDを持つ構造体データである。 [0079] FIG. 21 (c) is a structure data with the ID for each pixel. 図21(c)において、IDは、1から順に振られる整数の番号とする。 In FIG. 21 (c), ID is an integer number that is swung from 1 in order. また、0番は、どこにも属していない、すなわち像で無い場合の値として固定する。 Also, number 0, where the non belong, i.e. fixed as the value when not an image. 【0080】また、図21(d)は、ID番号に対して、このIDを有する画素の座標値を格納するものである。 [0080] Further, FIG. 21 (d) the ID number, and stores the coordinate values ​​of pixels having this ID. 1つのID番号に対する画素の座標値は、数百個に上る場合もある。 Coordinate values ​​of the pixels for one ID number, sometimes amounting to hundreds. 【0081】ここで、上記図21(c)および図21 [0081] Here, FIG 21 (c) and 21
(d)に示したデータの生成方法について説明する。 (D) a method of generating data shown in will be described. 図21(a)に示すような2値画像情報から、画素を1つ選択し、次の処理を行う。 From the binary image information as shown in FIG. 21 (a), selects one pixel, the following processing is performed. (1)もし、選択された画素の画素値が0であるならば、図21(c)に示したような画素毎にIDを持つ構造体データに、0を与えて次の画素を選択する。 (1) If the pixel value of the selected pixel is 0, the structure data having a pixel ID for each, as shown in FIG. 21 (c), giving 0 to select the next pixel . (2)もし、選択された画素の画素値が1であるならば、 その画素の周囲の8画素に、既にIDがふられている画素が存在しているか否か検索を行う。 (2) If the pixel value of the selected pixel is 1, the eight pixels surrounding the pixel, performs already searched whether ID pixels that are dumped exist. 上記その画素の周囲の8画素に、既にIDが振られているならば、そのIDと同じID番号を与え、上記図2 Above 8 pixels surrounding the pixel, if already ID is swung, given the same ID number as its ID, FIG 2
1(c)および図21(d)に示した2種類のデータに、登録を行う。 Two kinds of data shown in. 1 (c) and FIG. 21 (d), and registers. その画素の周囲の8画素に、既にIDがふられている画素が存在していないならば、図21(c)に示したような画素毎にIDを持つ構造体データに、次のID(これをNとする)を書き込む。 The eight pixels surrounding the pixel, if not already present pixel ID is dumped, the structure data having a pixel ID for each, as shown in FIG. 21 (c), the following ID ( writes This is referred to as N). また、図21(d)に示したような連結像について保持する構造体データのN番目に、その画素の座標を与え、画素数に1を加える。 Further, the N-th structure data held consolidated image as shown in FIG. 21 (d), gives the coordinates of the pixel, 1 is added to the number of pixels. 次の画素を選択し、上記処理を繰り返す。 It selects the next pixel and repeats the above process. このようにして、全画素について、上記処理を行う。 In this manner, for all the pixels, it performs the above processing. 【0082】以上のようにして、2値画像が写っている像を単位として分割された。 [0082] As described above, divided an image binary image is captured as a unit. すなわち、図21(a)に示すような2値画像情報について、図21(b)に示すようなIDを振られた2値画像情報が得られた。 That is, the binary image information as shown in FIG. 21 (a), the binary image information that has been swung to ID as shown in was obtained FIG 21 (b). 【0083】次に、この各像に対して、中心の位置、長軸のなす角度、長軸の長さ、および短軸の長さを求める。 [0083] Next, with respect to the each image, the position of the center, the angle of the major axis, the major axis length of, and determine the length of the minor axis. 以下の処理を、各像の構造体データに対して行う。 The following processing is performed with respect to structural data of each image. 【0084】まず、連結像について保持する構造体データに対して、中心の位置を求める。 [0084] First, the structure data held consolidated image, determine the position of the center. これは、連結像について保持する構造体データに登録された座標値の平均値を求め、この平均値を中心の位置として採用する。 This obtains an average value of the coordinate values ​​registered in the structure data held consolidated image, employing the average value as the position of the center. この平均値は、登録された座標値を(x i ,y i )i=0, This average the registered coordinates (x i, y i) i = 0,
…,n-1とすると、次の数式(数1)により示される。 ..., when n-1, indicated by the following equation (Equation 1). 【0085】 【数1】 [0085] [number 1] また、上記処理により求められる中心の位置の例は、例えば,図22(a)で示される。 Further, examples of the position of the center obtained by the above process, for example, shown in Figure 22 (a). 【0086】次に、長軸の傾きを求める。 Next, determine the slope of the long axis. 長軸の傾きをaとし、連結像について保持する構造体データに登録された座標値を(x i ,y i )i=0,…,n-1とし、中心の位置を(x c ,y c )とすると、傾きaを、次の数式(数2)で求める。 The inclination of the long axis is a, registered in the structure data held consolidated image coordinate values (x i, y i) i = 0, ..., a n-1, the position of the center (x c, y When c), the gradient a, calculated by the following equation (equation 2). 【0087】 【数2】 [0087] [number 2] また、上記処理により求められる傾きの例は、例えば、 Further, examples of the slope obtained by the above process, for example,
図22(b)で示される。 Shown in Figure 22 (b). 【0088】次に、長軸のなす角度θを求める。 Next, determine the angle θ of the long axis. 角度θ Angle θ
は、上記傾きaから、次の数式(数3)で求める。 From the slope a, calculated by the following equation (Equation 3). 【0089】 【数3】 [0089] [number 3] そして、図22(c)で示すように、画像を回転させる。 Then, as shown in FIG. 22 (c), the rotating image. 図22(c)は、傾きaの場合に、角度θだけ画像を回転させた状態を示している。 FIG. 22 (c) in the case of gradient a, and it shows a state in which the image is rotated by an angle theta. 【0090】次に、図22(c)のように回転させた画像に対して、長軸の長さと短軸の長さを求める。 [0090] Next, with respect to the rotated image as shown in FIG. 22 (c), the seek length and the minor axis of the length of the major axis. この画像についての構造体データに登録されている座標値のうち、もっともy座標の値が大きいものと、もっともy座標の値が小さいものとの差を取り、この長さを長軸の長さと定める。 Of the coordinate values ​​registered in the structural data for the image, the most that the value of y coordinate is the maximum, taking the difference between the highest ones value of y-coordinate is small, the length of the major axis to the length stipulated. また、もっともx座標の値が大きいものと、もっともx座標の値が小さいものとの差を取り、この長さを短軸の長さと定める。 Also defines the most to that value of x-coordinate is large, takes the difference between the highest ones value of x-coordinate is small, the length minor axis and the length. 画像の長軸と短軸の様子を、図22(d)に示す。 How major and minor axes of the image, shown in FIG. 22 (d). 【0091】以上のようにして、図20に図示される構造体1900を要素としたリストを生成する。 [0091] As described above, it generates a list in which the structure 1900 illustrated in FIG. 20 as elements. 【0092】次に、情報統合用装置113の動作を説明する。 [0092] Next, the operation of the information integration unit 113. 情報統合用装置113は、画像認識装置110から送られてくるデータを総合して、ポインティングデバイスによって示されている指示個所を推測し、その結果をプレゼンテーション用計算機114に出力する。 Information integration device 113, taken together the data sent from the image recognition device 110, and estimate the instruction point indicated by the pointing device, and outputs the result to the presentation computer 114. 【0093】図23に、この処理を実現することの出来る装置の一構成例を表したブロック図を挙げる。 [0093] Figure 23 lists the block diagram showing a configuration example of a device capable of realizing this process. 図23 Figure 23
に示す装置においては、バス2007に、CPU2001と、主記憶装置2002と、入出力I/F部2003と、外部記憶装置200 In the device shown is a bus 2007, a CPU 2001, a main memory 2002, the input-output I / F unit 2003, an external storage device 200
4とが接続されている。 4 and are connected. 入出力I/F部2003には、出力機器 The input-output I / F unit 2003, an output device
2005と、入力機器2006とが接続されている。 And 2005, and the input device 2006 is connected. CPU2001 CPU2001
は、主記憶装置2002に記録されているプログラムに従い各種の処理を実行する。 Executes various processes in accordance with programs recorded in the main memory 2002. 主記憶装置2002と外部記憶装置 The main storage device 2002 and an external storage device
2004には処理を実行するに当たって必要なプログラムやデータが記憶される。 The 2004 necessary program and data in executing the process is stored. 外部記憶装置2004としては、ハードディスク装置の他に、可搬型の記録媒体であるフロッピーディスク等を用いることができる。 The external storage device 2004, in addition to the hard disk drive, it is possible to use a floppy disk or the like which is a portable recording medium. 入出力インターフェイス部(入出力I/F部)2003では、画像認識装置110 The output interface unit (input-output I / F unit) 2003, an image recognition device 110
からの入力データ、プレゼンテーション用計算機114への出力データ等をやり取りするために必要なデータの転送手段を備えているものとする。 Inputting data, assumed to have a transfer means of the data necessary for exchanging the output data or the like to the presentation computer 114 from. 本実施の形態においては、以下の処理はCPU2001によって実行されるものとする。 In the present embodiment, the following processing shall be performed by the CPU 2001. ただし、このことは、本装置が汎用のCPUによって動作することに限定するものではない。 However, this is, the apparatus is not limited to be operated by the general purpose CPU. 以下に述べる各種処理と同等の機能を有する専用ハードウェアを使用することもできる。 It is also possible to use dedicated hardware having various processing equivalent to functions described below. 【0094】情報統合用装置113では、複数台の画像認識装置110から送られてくるデータを受信する。 [0094] In the information integration unit 113, receives the data sent from a plurality of image recognition apparatus 110. 全ての画像認識装置から転送されるデータがそろったときに、 When the data to be transferred from all of the image recognition device aligned,
以下の作業を開始するものとする。 It is intended to start the following tasks. この処理の入力は、 Input of this process,
複数の画像認識装置から送られてきた構造体のリスト19 List of structures sent from a plurality of image recognition apparatus 19
00である。 00 is. 【0095】図24に、情報統合用装置113の処理の流れを示す。 [0095] Figure 24 shows the flow of processing of the information integration unit 113. 情報統合用装置113においては、複数台の画像認識装置202から送られてきた全ての構造体のリストをマージして、一つのリストにする。 In the information integration unit 113 merges a list of all sent from a plurality of image recognition device 202 of the structure, into a single list. これを図24に示す処理の入力として用いる。 Using this as an input of the processing shown in FIG. 24. 情報統合用装置113においては、まず、処理216において、複数台の画像認識装置1 Information in integration unit 113, first, in the processing 216, the image recognition apparatus of multiple 1
10から送られてきた全ての構造体のリストを受信する。 Receiving a list of all of the structures sent from 10.
次に、処理217において、画像認識装置からのデータでは2つの図形に分かれているが、もともと一つの発光点による画像であった物を探し出し、合成する。 Next, in the processing 217, the data from the image recognition device is divided into two shapes, find what was an image according to the original one light emitting point, it is synthesized. 次に、処理218において、目標画像との適合度を調べ、最適と推測される画像を選出する。 Next, the process 218 examines the fit of the target image, selects an image to be presumed optimal. 最後に、処理219において、 Finally, in the processing 219,
処理結果を計算機114に送信する。 It transmits the processing result to the computer 114. 図24に示す各処理は、図4に示した同一符号の処理と同一の処理である。 Each processing shown in FIG. 24, the same processing as the processing of the same reference numerals shown in FIG.
図25は、処理217における動作をフローチャートで図示したものである。 Figure 25 is an illustration of a flow chart the operation of the process 217. 処理217は、画像認識装置からのデータでは2つの図形に分かれているが、もともと一つの発光点による画像であった物を探し出し、合成する作業である。 Process 217, the data from the image recognition device is divided into two shapes, find what was an image according to the original one light emitting point, a task of synthesis. 【0096】まず、ステップ2201において、未選択の登録色があるか否かを判定する。 [0096] First, in step 2201, determines whether there is registered color unselected. 未選択の登録色が無い場合には、処理を終了する。 If the registration color has not been selected there is no, the process is terminated. 未選択の登録色があると判定された場合には、登録色を選択する(ステップ2202)。 If it is determined that there is a registration color unselected selects a registered color (step 2202).
次に、ステップ2203において、未選択の画像対があるか否かを判定する。 Next, in step 2203, it determines whether there is image pair unselected. 未選択の画像対が無いと判定された場合には、ステップ2201へ戻る。 When the unselected image pair is determined not, the process returns to step 2201. 未選択の画像対があると判定された場合には、入力リスト上から、互いに異なる2つの要素を選び出す(ステップ2204)。 If it is determined that there is unselected image pairs from the input list, pick out two different elements from each other (step 2204). 【0097】この2つの要素について、以下の条件を全て満たすか調べる。 [0097] For these two elements, see if all of the following conditions. 条件1、二つの画像の登録色が等しい。 Condition 1, registered color of the two images are equal. 条件2、二つの画像の角度の差が一定値以下である。 Condition 2 is the difference in angles of two images less than a predetermined value. 条件3、二つの画像の中心間の距離から、長軸の長さの和の半分を引いた値が一定値以下である。 Condition 3, the distance between the centers of the two images is the value obtained by subtracting the half of the sum of the length of the major axis is less than a predetermined value. 以上の3 More than a third
つの条件を満たした場合には、二つの構造体をまとめて一つの構造体とする。 One of when the condition satisfies a is a single structure together two structures. その際、新しい長軸の長さは、二つの長軸の長さの半分と中心間の距離の和とする。 At that time, the length of the new length axis, a sum of distances between the center and the half of the length of the two long axis. 新しい短軸の長さは、二つの短軸の長さのうち、大きいものとする。 The length of the new minor axis, of the length of the two minor axis, and larger. また、新しい中心の位置は、二つの中心の中点から長い長軸をもった画像の中心点の方向に、長い長軸の4分の一から、短い長軸の4分の1を引いた長さだけ動かしたものとして定める。 The position of the new center, in the direction of the center point of the image having a length axis from the midpoint of the two centers, from one quarter of the length longer axis, minus one quarter of the short length axis defined as those moved by a length. 【0098】以上の作業を全ての要素の組み合わせに対して行う。 [0098] or more of the work performed for the combination of all the elements. 【0099】図25に示すフローチャートにおいては、 [0099] In the flowchart shown in FIG. 25,
ステップ2202において、上述の条件1が加味される。 In step 2202, the condition 1 described above is taken into account. そして、ステップ2205において、二つの画像(構造体)の角度が類似しているか否かを判定し、上述の条件2が加味される。 Then, in step 2205, it determines whether the angle of the two images (structures) are similar, the above-described condition 2 is taken into account. 類似していないと判定された場合には、ステップ2203へ戻る。 If it is determined not to be similar, the process returns to step 2203. 類似していると判定された場合には、 When it is determined to be similar,
ステップ2206へ進む。 The processing proceeds to step 2206. ステップ2206においては、二つの画像の距離が近いか否かを判定し、上述の条件3が加味される。 In step 2206, it determines whether the distance between the two images are close, the condition 3 described above are taken into account. 近くないと判定された場合には、ステップ2203 If it is determined that not close, the step 2203
へ戻る。 To return. 近いと判定された場合には、二つの画像対(構造体の対)をまとめて一つの画像(構造体)とする(ステップ2207)。 If it is determined that the near, a single image (structure) together two image pairs (pair structure) (step 2207). このまとめ方は、上述のように行う。 This summary person is carried out as described above. 【0100】次に、処理218について述べる。 [0100] Next, described processing 218. 処理218は上記処理217で与えられた画像の特徴量のリストから、 Process 218 from the list of feature amount of the image given above process 217,
目標画像との適合度を調べ、最適と推測される画像を選出する処理である。 Examine the fitness of the target image, a processing of selecting an image to be presumed optimal. この処理218では、上記処理217で変更されたリストの中から、各登録色について、参照位置である蓋然性が高いとして選び出された要素の構造体を出力として返す。 In the process 218, from the list that have been changed by the processing 217, and returns for each registered color, the structure of a reference position probability is singled out as the higher element as an output. この処理218の詳細は、図26のフローチャートに示されている。 The details of this process 218 is shown in the flow chart of FIG. 26. 【0101】図26のフローチャートにおいては、まず、登録色を選択する(ステップ2301)。 [0102] In the flowchart of FIG. 26, first, selecting a registration color (step 2301). 次に、新たな画像(構造体)を選択する(ステップ2302)。 Next, select a new image (structure) (step 2302). 次に、選択された画像の画素数を読み込み、この画素数を評価数値とする(ステップ2303)。 Next, read the number of pixels of the selected image, and the number of pixels evaluated numerically (step 2303). 次に、ステップ2304において、全ての画像(構造体)について処理が終了したか否かを判定する。 Next, in step 2304, it is determined whether processing has been completed for all the images (structure). 全ての画像(構造体)について処理が終了していない場合には、ステップ2302へ戻る。 If the processing for all the images (structure) does not end, the flow returns to step 2302. 全ての画像(構造体)について処理が終了した場合には、ステップ2305へ進む。 If the processing has been completed for all the images (structure), the process proceeds to step 2305. ステップ2305においては、評価数値の一番大きな画像(構造体)を選択する。 In step 2305, it selects the largest image of the evaluation number (structure). 次に、ステップ23 Next, step 23
06において、全ての登録色について、処理が終了したか否かを判定する。 In 06, for all the registered color, it determines whether the process has been completed. まだ処理を行っていない登録色がある場合には、ステップ2301へ戻る。 If there is a registration color that has not been processed yet, the process returns to step 2301. 全ての登録色について、処理が終了した場合には、送信処理219へ進む。 For all registered color, when the process is completed, the process proceeds to the transmission processing 219. 【0102】また、各要素(構造体)について、以下のような検定基準を算定してもよい。 [0102] Also, for each element (structure), may be calculated an assay the following criteria. ただし、この検定基準は本発明を実現するための一例であり、本発明がこの手法に限定されるわけではない。 However, this test criterion is an example for implementing the present invention, the present invention is not limited to this method. 入力のリストの中から要素を一つ選択する。 It selects one element from the list of input. 要素の登録色に対応づけられた半径を主記憶装置から読み出す。 Reading a radius associated with the elements of the registration color from the main memory. この情報の登録方法は上述した。 Registration method of this information has been described above. リストに登録されている短軸長と半径の値との差の絶対値をとる。 Taking the absolute value of the difference between the minor axis length and the radius of the values ​​registered in the list. この絶対値をLとする。 The absolute value and L. 各登録色について、処理2303で、前回選び出された該当要素の位置座標と、処理中の要素の位置座標との距離の絶対値を算出し保存する。 For each registered color, the process 2303, the position coordinates of previous singled out the corresponding element, calculates the absolute value of the distance between the position coordinates of the element being processed and to store. この数値をPと呼ぶ。 This number is referred to as P. 各要素の数値L,Pに対して、その線形和aL+bPを計算する。 Numerical L of each element with respect to P, and calculates the linear sum aL + bP. ここで、aとb Here, a and b
は、装置の作成時に与えられる定数であり、単位系や実装方法に依存する。 Is a constant given when creating the device, it depends on the unit system and implementation. この値がもっとも小さいものが、登録色の発光点である蓋然性が高いと判断し、選出する。 What the value is smallest is determined that there is a high probability that the emission point of the registered color, elect.
このとき、選択された上記の検定量の全てが、ある定められた一定値よりも大きかった場合には、参照個所に該当する画像は得られなかったものと判断する。 At this time, all of the above assays the amount that the selected, if larger than a predetermined value set in the image corresponding to the reference point is determined to have not obtained. 【0103】図24に戻り、処理219においては、処理2 [0103] Returning to Figure 24, in the processing 219, the processing 2
18で選出された要素(構造体)のデータを計算機114に送信する。 The data of elected elements (structures) 18 and transmits to the computer 114. この送信は、入出力I/F部 を介して行われる。 This transmission is performed via the input-output I / F unit. 【0104】以上で情報統合用装置113の処理を終了する。 [0104] and ends the process of information integration device 113 or more. 情報統合用装置113では、以上の処理を画像認識装置110からの送信周期に合わせて、実時間で行う。 In the information integration unit 113, it combined the above processing to the transmission cycle from the image recognition device 110, carried out in real time. 処理終了後、情報統合用装置113は次回の送信に備えて待機状態を取る。 After completion of the treatment, information integration unit 113 takes a waiting state in preparation for the next transmission. 【0105】次に、プレゼンテーション用計算機114の処理について述べる。 [0105] Next, we describe the process of presentation for the computer 114. ここでは、情報統合用装置113から送信されてきた情報を、プレゼンテーション用計算機 Here, the information transmitted from the information integration unit 113, a presentation computer for
114の画面描画の内容に反映させる。 114 screen is reflected in the contents of the drawing. 【0106】プレゼンテーション用アプリケーションが動作する計算機114においては、情報統合用の装置113から送られてきた位置参照情報を利用するアプリケーションが動作している。 [0106] In the computer 114 that the presentation application to work, the application to use the location reference information sent from the device 113 for information integration is operating. このアプリケーションは、プレゼンテーション用アプリケーションそのものである場合も、 This application, also be a presentation for the application itself,
その補助アプリケーションとして動作している場合もありうる。 There may be when operating as a helper application. このアプリケーションは、情報統合用装置113 This application, information integration unit 113
から入力されたデータを受信して、参照位置を強調するための画像を作成する。 Receive input data from, creates an image to emphasize the reference position. 【0107】強調画像の作成例を挙げる。 [0107] creation of the enhanced image examples. 計算機114 Computer 114
は、あらかじめ2次元画像イメージとして、矢印や指などを模った参照位置を直感的に理解できる画像を、主記憶装置または外部記憶装置に持っている。 As previously 2D picture image, an image that can be intuitively understood reference position was with an arrow or the like or finger, has a main storage device or an external storage device. 複数のポインティングデバイスが存在する場合には、この画像はポインティングデバイス毎に存在し、関連付けて保存されている。 When a plurality of pointing devices are present, the image is present for each pointing device, are stored in association. 情報統合装置113から送られてきた各情報について、登録色の情報から、対応するポインティングデバイスを選び出す。 For each information sent from the information integrating device 113, the information of the registered color, select a corresponding pointing device. そして、その構造体に書き込まれた座標に、ポインティングデバイスに対応付けられた画像を配置する。 Then, the coordinates written to the structure, placing images associated with the pointing device. 【0108】複数の発言者がいた場合、前述の情報を、 [0108] If you had more than one speaker is, the information described above,
指示者の位置をも暗喩したアイコンで表現することができる。 It can be represented by an icon that metaphor also the position of the instructor. これにより、第三者もそれぞれ発言者がどのポインティングデバイスを保持しているかを判別することができるようになるので、プレゼンテーションの表現力を増すことができる。 Thus, since it is possible to determine whether each be a third party speaker holds any pointing device, it is possible to increase the expressive power of the presentation. 図27では、この手法を用いたプレゼンテーションの実施例を示している。 In Figure 27, it shows an embodiment of a presentation using this technique. 発言者2606と発言者2607は、それぞれ個別に異なるポインティングデバイス2604,2605で画面上を指示しているが、指示アイコン2602と2603とが異なっているため混同されることはない。 Speaker 2606 and speaker 2607, but each of which directs the screen on a pointing device 2604,2605 different for individual, it will not be confused for the instruction icon 2602 and 2603 are different. また、アイコンの向きが指示者の物理的な存在位置を暗示しているため、第三者2608も、どちらの発言者がどちらの指示アイコンを使用しているのかといった予備知識を必要としない。 In addition, since the direction of the icon is to imply the physical location of the instructor, a third party 2608 also, it does not require prior knowledge, such as whether one of the speaker is using either of the instruction icon. 【0109】参照画像の別の作成例として、上記のような複数の発言者を判別することに利用できるような参照画像の例を挙げる。 [0109] As another example of creating a reference image, the reference images available to determine a plurality of speakers as the example. 【0110】矢印、指などの参照位置を直感的に理解できる画像を、あらかじめ画像イメージとして、主記憶装置、または外部記憶装置に持っている。 [0110] arrow, an image that can be intuitively understood reference position such as a finger, as previously picture image, has a main memory, or an external storage device. この画像は、ポインティングデバイス毎に存在し、関連付けて保存されている。 This image is present for each pointing device, are stored in association. 各ポインティングデバイスについて、情報統合用装置113から送られてきた長軸成分の角度方向に合わせて、この画像を回転させる。 For each pointing device in accordance with the angular direction of the long axis components sent from the information integration unit 113, rotating the image. 参照位置の座標(情報統合用装置113から送られてきた中心の位置の座標)に、 The reference position coordinates (position coordinates of the center transmitted from the information integration unit 113),
この画像内の注視点(矢印、指などの先端)の位置が重なるように、画面上に参照画像を配置する。 The fixation point in an image so as to overlap the position of (the arrow, the tip of the finger), to place the reference image on the screen. 【0111】参照画像の別の作成例を挙げる。 [0111] Another of creating examples of reference image. 以下、この参照画像の例においては、投影方向に対して正面向きに設置されたスクリーン上に、円形の発光点を投影するようなポインティングデバイスを用いた場合を想定する。 Hereinafter, in the example of this reference image, on a screen disposed frontally with respect to the projection direction, a case of using a pointing device, such as to project the circular light emitting points. 指示者(発言者)の位置や、向いている角度が変化するに伴って、スクリーン上に投影される画像は一般に楕円を描くようになる。 Position and the instructor's (speaker), with the angle changes facing, images projected on the screen is generally made to draw the ellipse. 平面スクリーンの場合においては、この楕円の角度、長軸と短軸の比率、大きさといった情報から、その発光点を投影している指示者の3次元的な位置を推定することが可能である。 In the case of flat screens, the angle of the ellipse, the major axis and the ratio of the minor axis, from the information such as the size, it is possible to estimate the three-dimensional position of the instructor that projects the light-emitting point . 【0112】図28と図29は、その具体的な処理方法に関する参照図である。 [0112] Figure 28 and Figure 29 is a reference diagram relating to the specific treatment method. 図28は、スクリーンと指示位置(参照位置)の関係を、上側から見たときの図である。 Figure 28 shows the relationship of the screen and the indicated position (see position) is a diagram when viewed from above. 図29は、スクリーンと指示位置(参照位置)の関係を、正面から見たときの図である。 Figure 29 shows the relationship of the screen and the indicated position (see position) is a diagram when viewed from the front. 大画面のスクリーン100が指示者105よりも高い位置に存在すると仮定する。 Assume the screen 100 of the large screen is present at a position higher than the instructor 105. 指示者がもつポインティングデバイス104は、スクリーンの正面、距離 dの位置 からスクリーンに垂直に投影した場合に、スクリーン上に半径 r1の真円を描くポインティングデバイスである。 Pointing device 104 instructor has the front of the screen, from the position of the distance d when projected perpendicularly to the screen, a pointing device to draw a circle with a radius r1 on the screen. この関係は、プレゼンテーション開始前に計測され、登録される。 This relationship is measured before the presentation starts, is registered. 前述の2値画像から上記の情報を求めるための処理の流れを示す。 From the above binary image showing the flow of processing for obtaining the information.
まず、ポインティングデバイスの光点の図の重心を求める。 First, the center of gravity of the light spot of Fig pointing device. ついで、図形の選択された全ピクセルについて、もっとも画素の分散が大きくなる方向を算出する。 Then, for all pixels that are selected shapes, to calculate the direction in which the most variance of pixel increases. この方向を図形の角度2402として定める。 Determining the direction angle 2402 of the figure. この角度だけ図形を時計回りに回転させ、回転させた図形のx軸方向とy軸方向の長さを、図形の長軸の長さa(2405)と、短軸の長さb(2403)として決定する。 The angle by rotating the figure clockwise, the x-axis direction and a length in the y-axis direction is rotated figure, the length of the long axis of the figure a (2405), the minor axis length b (2403) It is determined as. 図形の半径の長さr(240 Radius of length r of the figure (240
1)は、短軸の長さの半分として定義される。 1) is defined as half the length of the minor axis. また、指示者から指定点へ伸ばした直線が、画面に対してなす角度θ(2400)はθ= arcsin(b/a)であらわすことができる。 Further, a straight line that is an extension of the instructor to the specified point, the angle theta (2400) which makes with the screen can be expressed by θ = arcsin (b / a). 上記の角度θと長軸の角度から、指定点から指示者に向かう3次元方向として2種類の候補が求められる。 From the angle of the angle θ and the long axis, the two candidates is determined as a three-dimensional direction toward the instructor from the specified point.
その場合、適切な制約条件(この場合、指示者は画面よりも下に位置するという条件)を定めることで、そのうち一つを選択することが出来る。 In that case, appropriate constraints (in this case, the instructor is provided that is positioned below the screen) by determining a can be them select one. さらに、rd/r1が指示者との距離になる。 Furthermore, rd / r1 is the distance between the instructor. 【0113】この手法で得られる指示者の三次元位置を、アイコンの形状によって暗喩させる。 [0113] The three-dimensional position of the instructor's obtained in this approach, to metaphor by the shape of the icon. この操作に用いる指示アイコンの2種類の例を図30に示す。 Two examples of instruction icon used in the operation shown in FIG. 30. 図30 Figure 30
(a)で示されるのは、位置を指示する2次元画像を3 Shown at (a) is a two-dimensional image to indicate the position 3
次元ポリゴンのテクスチャとして用いる方法である。 A method of using as a texture dimension polygon. 27 27
01は指示している点を示し、2702で示される方向が、指示者が位置している方向を示す。 01 shows a point that indicated the direction indicated by 2702 indicates a direction instructor is located. 図30(b)で示されるのは、3次元のポリゴン構造を用いて指示位置と指示者の存在位置とを示す方法である。 Shown in FIG. 30 (b), is a way of indicating the presence position of the pointer position and the instructor using a 3-dimensional polygon structure. 2703が示す方向は、 Direction indicated by 2703,
指示している点を示し、2704で示される方向が、指示者が位置している方向を示す。 It shows a point that indicated the direction indicated by 2704 indicates a direction instructor is located. 【0114】計算機114は、上述のように作成された画像(アイコン)を、プレゼンテーション用画面に合成する。 [0114] computer 114, an image (icon) that is created as described above, to synthesize the presentation screen. この合成の実装方法は、プレゼンテーション用計算機114が使用しているオペレーティングシステムに依存する。 Implementation of this synthesis is dependent on the operating system that presentation computer 114 is using. 【0115】以上で、処理222(図4参照)の処理が終了する。 [0115] In the above, the processing of the processing 222 (see FIG. 4) is completed. 次の周期においては、この作成された画像(アイコン)を伴った画像データ(原画像)が、画像表示装置108へ送信される(処理223)。 In the next cycle, the image data accompanied by the created image (icon) (original image) is transmitted to the image display device 108 (processing 223). 【0116】画像表示装置108においては、処理224において上記画像データを受信する。 [0116] In the image display apparatus 108 receives the image data in process 224. 次に、処理225において、上記画像データをスクリーンの歪みに合わせて歪ませる。 Next, in the processing 225, it distorts the combined the image data to the distortion of the screen. そして、処理226において、歪ませた画像データによる画面を、スクリーン100に投影する。 Then, in the processing 226, the screen by the image data obtained by distorting, projected on a screen 100. この後、再び、処理210により、スクリーン100に投影された画面を、カメラ107により撮像する。 Thereafter, again, the processing 210, a screen that is projected on the screen 100, is captured by the camera 107. 【0117】次に、本発明の別の実施の形態の構成図を図31に示す。 [0117] Next, a block diagram of another embodiment of the present invention shown in FIG. 31. 図31において、図1と同じ符号を付与された構成要素は、図1に示した構成要素と同じ機能を有するものとする。 In Figure 31, components that are given the same reference numerals as in FIG. 1 is assumed to have the same functions as the components illustrated in FIG. 図31において、指示者105は、光学的ポインティングデバイス2804でスクリーン100上を指し示す。 In Figure 31, the instructor 105 points to the screen 100 on an optical pointing device 2804. そのスクリーン100を、複数台設置されているカメラ107-1,107-2が周期的に撮像する。 The screen 100, camera 107 - which is installed a plurality periodically captured. それぞれの画像は、画像認識装置2810-1,2810-2に送られる。 Each image is sent to the image recognition apparatus 2810-1,2810-2. そこでは、スクリーン上の各領域内に映し出された発光点28 There, the light emitting point 28 displayed in each region on the screen
02の情報が抽出され、情報統合用装置113に送られる。 02 information is extracted and sent to the information integration unit 113.
この情報統合用装置113では、複数の画像認識装置2810 In the information integration unit 113, a plurality of image recognition apparatus 2810
から送られてきた、互いに矛盾する可能性のある情報から、最も蓋然性の高い候補を採択する。 Sent from the information that may conflict with each other, to adopt the most probable candidates. この情報はプレゼンテーション用の計算機114に送られ、そこでアイコン画像103の合成と、プレゼンテーション用アプリケーションへの操作が行われる。 This information is sent to a computer 114 for presentation, where the synthesis of the icon image 103, the operation of the presentation application is made. 【0118】この実施の形態で使用される光学的ポインティングデバイス2804の構造例を図32に示す。 [0118] showing a structural example of an optical pointing device 2804 used in this embodiment in FIG. 32. この光学的ポインティングデバイス2804は、6つの光点を投影するものである。 The optical pointing device 2804 is designed to project six spot. (ただし、この発明におけるこのポインティングデバイスの特徴は、光点の数に限定されるわけではない。回転に対し非対称な図形を投影するものであれば同様の効果を得ることが出来る)。 (However, this feature of the pointing device in the invention is not limited to the number of light spots. Rotate relative it is possible to obtain the same effect as long as to project the asymmetric shape). このデバイスは発光部2906と保持部2907に分けて考えられる。 This device is considered divided into holding portion 2907 and the light emitting unit 2906. 発光部 The light-emitting portion
2906は、保持部2907に対して、動力部2905とモーター29 2906, with respect to the holding unit 2907, a power unit 2905 Motor 29
04の作用によって回転する。 It is rotated by the action of 04. 発光部2906には、レーザーまたは可視光線を正面に向けて放つ発光部品2901が、6 The light emitting unit 2906, the light emitting part 2901 that emits toward the laser or visible light on the front is, 6
つ取り付けられている(2901-1から2901-6)。 One is attached is (2901-1 from 2901-6). この発光部品2901でスクリーンを指し示すと、周期的に回転を繰り返す発光点の画像がスクリーンに写る。 When pointing the screen with the light emitting component 2901, an image of the light emitting points repeating periodically rotated objects appear on the screen. 図33は、図32に示したポインティングデバイス2804によって投影される発光画像を図示したものである。 Figure 33 is an illustration of a luminescent image that is projected by a pointing device 2804 shown in FIG. 32. スクリーン100 Screen 100
上には、6つの光点3301-1〜3301-6が映っている。 The above, is reflected six point 3301-1~3301-6. この発光画像(光点)3301-1〜3301-6はデバイス2804の発光部2906の回転に伴って回転する。 The luminescent image (spot) 3301-1~3301-6 rotates with the rotation of the light emitting portion 2906 of the device 2804. 【0119】本実施の形態で行う処理の流れを図34に記載する。 [0119] The flow of processing performed in this embodiment will be described in FIG. 34. 図34において、図4に示された処理と同一の符号を付与された処理は、図4に示された処理と同様な処理であるとする。 In Figure 34, processing that is the same reference numerals as the processing shown in FIG. 4 are assumed to be the same process as the process shown in FIG. 図34においては、画像認識装置 In Figure 34, the image recognition device
2810による処理3410(画像認識処理)のみが、図4に示された処理と異なっている。 Treatment with 2810 3410 only (image recognition processing) is different from the processing shown in FIG. 【0120】図34において、カメラ107は、上記のスクリーンを周期的に撮像する。 [0120] In FIG. 34, the camera 107, periodically imaging said screen. ただし、この撮像周期とポインティングデバイス2804の回転周期は、定数倍にはなっていないものとする。 However, the rotation period of the imaging cycle and a pointing device 2804, and shall not in a constant multiple. また、カメラ107の台数は任意であるとする。 Further, the number of cameras 107 is assumed to be arbitrary. カメラ107の配置に関する条件は、前実施の形態と同様の物であるとする。 Conditions related to the arrangement of the camera 107 to be the same thing the previous embodiment. カメラ107が撮像したデジタル画像は、画像認識装置2810に送られる。 Digital image camera 107 is captured is sent to the image recognition apparatus 2810. この画像認識装置2810は、カメラ107から転送されてきた画像を入力として受け取り、位置座標の情報を持った構造体の配列(リスト)を出力する。 The image recognition apparatus 2810 receives an image transferred from the camera 107 as an input and output array of structures having information of the position coordinates (list). 【0121】この画像認識処理を行うことの出来る画像認識装置2810の構成の一例を図35に挙げる。 [0121] One example of a configuration of an image recognition apparatus 2810 capable of performing the image recognition process in FIG. 35. 図8に示す装置においては、バス3307に、CPU3301と、主記憶装置3302と、入出力I/F部3303と、外部記憶装置3304とが接続されている。 In the apparatus shown in FIG. 8, the bus 3307, a CPU 3301, a main memory 3302, the input-output I / F unit 3303, and an external storage device 3304 is connected. 入出力I/F部3303には、出力機器330 The input-output I / F unit 3303, an output device 330
5と、入力機器3306とが接続されている。 5, an input device 3306 is connected. CPU3301 CPU3301
は、主記憶装置3302に記録されているプログラムに従い各種の処理を実行する。 Executes various processes in accordance with programs recorded in the main memory 3302. 主記憶装置3302と外部記憶装置 The main storage device 3302 and an external storage device
3304には処理を実行するに当たって必要なプログラムやデータが記憶される。 Necessary program and data in executing the process is stored in the 3304. 外部記憶装置3304としては、ハードディスク装置等のほかに、可搬型記録媒体であるフロッピーディスク等を使用することもできる。 The external storage device 3304, in addition to such as a hard disk drive, it is also possible to use a floppy disk or the like is a portable recording medium. 入出力インターフェイス部(入出力I/F部)3303では、カメラからの入力データ、情報統合装置へのへの出力データ等をやり取りするために必要なデータの転送手段を備えているものとする。 The output interface unit (input-output I / F unit) 3303, and shall have a transfer means of the data necessary for exchanging input data, output data, etc. to the to the information integrating unit from the camera. 本実施の形態においては、以下の処理はC In the present embodiment, the following process C
PU3301によって実行されるものとする。 And executed by PU3301. ただし、このことは、本装置が汎用のCPUによって動作することに限定するものではない。 However, this is, the apparatus is not limited to be operated by the general purpose CPU. 以下に述べる各種処理と同等の機能を有する専用ハードウエアを使用することも出来る。 It is also possible to use dedicated hardware having various processing equivalent to functions described below. 【0122】この画像認識装置2810の行う処理3401を表す図を図36に記載する。 [0122] describes a diagram illustrating a process 3401 performed by the image recognition apparatus 2810 in FIG. 36. 主記憶装置3302上には、前回の処理の際に、カメラから送信された画像が保存されている(処理3202)。 On the main storage unit 3302, the time of the previous processing, the image transmitted from the camera is stored (step 3202). カメラから新しい画像が入力されると、前回の画像と今回の新しい画像との差分を取る(処理3203)。 When a new image from the camera is input, take the difference between the previous image and the current of the new image (processing 3203). この処理3203の出力も、入力画像と同一サイズの画像である。 The output of this process 3203 is also an image of the input image and the same size. 前フレーム(前回)において撮像された画像と、今フレーム(今回)においてカメラから送られてきた画像との差を取り、50%グレーの画像を足し合わせる。 Before the image captured in the frame (previous) takes the difference between the image sent from the camera in the current frame (this time), adding the image of 50% gray. この差分処理の詳細については、前実施の形態と同様の方法を取るものとする。 Details of the difference process shall take before the same method as the embodiment. カメラの撮像範囲のうち、スクリーン外である領域については、前述の実施の形態と同様に未定義フラグがセットされる。 In the imaging range of the camera, the area is a screen outside, is set undefined flag similar to the embodiment described above. この処理32 This process 32
03の結果として生まれる画像を出力として処理3204に送る。 The image born as a result of the 03 sent to processing 3204 as output. 【0123】処理3204は処理3203で出力された画像を入力として受け取り、2値画像を出力する。 [0123] process 3204 receives the image output by the processing 3203 as input, and outputs a binary image. ポインティングデバイスの特徴色はあらかじめ登録されている。 Characteristic color of the pointing device is registered in advance. この登録の方法は前実施の形態において述べられたものと同一の手法を用いる。 This method of registration using the same method as that stated in the form of pre embodiment. 【0124】処理3204においては、処理3203で出力された画像の各座標の画素について、以下の処理を行う。 [0124] In process 3204, the pixels of each coordinates of the image output by the processing 3203, the following process is performed. 画素の色成分を取ったものを赤成分、青成分、緑成分に分割する。 To divide those that took the color component of the pixel red component, the blue component, the green component. 上記の赤成分と登録色の赤成分との差を取る。 Taking the difference between the red component and the registered color of the red component.
上記の青成分と登録色の緑成分との差を取る。 Taking the difference between the blue component and the registered color of the green component. 上記の緑成分と登録色の緑成分との差を取る。 Take the difference between the above-mentioned of the green component and the registered color of the green component. 上記3つの差の総和を取り、これが一定の基準値以下であった場合には、 Take the sum of the three differences, if it is less than or equal to a predetermined reference value,
出力画像の該当画素位置に1を書き込む。 Writing a 1 to the corresponding pixel position of the output image. そうでない場合、0を書き込む。 Otherwise, writing 0. 全ての画素に対して上記の処理が終了した場合には、処理3204は終了する。 If the above process is completed for all pixels, the process 3204 ends. 【0125】次に、処理3205においては、処理3204で得られた2値画像に対して、幾何変換テーブルを用いた歪み補正処理を行う。 [0125] Next, in process 3205, performed on a binary image obtained by the process 3204, the distortion correction processing using the geometric transformation table. この処理は、前実施の形態において述べられたものと同一の手法を用いる。 This process uses the same method as that stated in the form of pre embodiment. この処理3205からの出力は、歪み補正処理を施された2値画像である。 The output from this process 3205 is a binary image that has been subjected to distortion correction processing. 【0126】図36の処理3206は、処理3205から入力された画像に対する認識処理を示す。 [0126] process 3206 in FIG. 36 shows a recognition processing for the input image from the processing 3205. 入力は上記処理3205 Input the above processing 3205
によって作成された歪み補正処理を施された2値画像となっている。 It has a binary image that has been subjected to distortion correction processing created by. 入力画像で1となっている画素の総数がある閾値Bよりも多い場合には、何らかの理由により画像自体が大幅な変化をしたものとみなし、情報の取り込みを行わない。 If greater than the threshold value B in the total number of pixels that are 1 when the input image is assumed that the image itself for some reason has a significant change, not performed information uptake. この場合ポインティングデバイスの位置情報は前回のフレームによって得られた情報を用いる。 Position information in this case pointing device using information obtained from the previous frame. また、ある閾値Cよりも少ない場合には、ポインティングデバイスによる照射が行われていないと判断し、情報の取り込みを行わない。 Further, if less than a certain threshold value C, it is determined that not performed irradiation by the pointing device does not perform information uptake. この場合ポインティングデバイスの位置情報は発見不能であったと定める。 In this case the position information of the pointing device is determined to have been impossible discovery. それ以外の場合、認識された画像は、ポインティングデバイスの光点による位置情報であると判断される。 Otherwise, the recognized image is determined to be the position information by the light spot of the pointing device. 【0127】処理3206において、画像認識装置2810は、 [0127] In process 3206, the image recognition apparatus 2810,
ポインティングデバイスの光点による位置情報であると判断された画素位置の重心を求め、その点が指示点であると判断する。 Obtains the center of gravity of the pixel position determined as the position information by the light spot of the pointing device, it is determined that the point is indicated point. また、全画素の位置について、もっとも分散の大きい方向を求める。 Further, the positions of all the pixels, determine the direction of larger most dispersion. その向きを長軸の向きとして定める。 Determine its orientation as a major axis of orientation. 長軸の長さ、短軸の長さは、前述と同様に求める。 Length of the major axis, the length of the minor axis is determined in the same manner as described above. これらの情報を、図20に示したデータ構造体に書き込む。 These information is written to the data structure shown in FIG. 20. この後、図34の処理215により、データ構造体を情報統合用装置113に送信する。 Thereafter, the process 215 of FIG. 34, transmits the data structure in the information integration unit 113. 以降の処理は、 The subsequent processing,
前実施の形態と同様になる。 It becomes similar to previous embodiment. 画面の変更、またはそれ以外の何らかの理由によって、ポインティングデバイスで指定した光点以外の画面が変化した場合には、差分情報からポインティングデバイスの位置に関する更新情報を得ることに失敗する場合がある。 Changing the screen, or by other for some reason, if the screen other than the light spot that is specified by the pointing device has changed, sometimes fail to the difference information obtaining updated information about the position of the pointing device. その場合、前回の位置情報に基づいてアイコンを提示する。 In this case, presenting the icon based on the position information of the last time. 【0128】この発明内容は、プレゼンテーションのみに限定されることなく、大画面プロジェクタシステムを用いたアミューズメントシステム、コミュニケーションシステムにおいても適用が可能である。 [0128] The inventive subject matter is not limited only to the presentation, amusement system using a large-screen projector system, it is possible to be applied in the communication system. 【0129】 【発明の効果】本発明によれば、大画面スクリーンを用いたプレゼンテーションなどにおいても、参照個所の指示が可能であり、自然な操作性を得ることができるプレゼンテーション技術を提供することが出来る。 [0129] According to the present invention, even in such a presentation using a big screen, it is possible indication of the reference points is to provide a presentation technique capable of obtaining a natural operability can. 【0130】また、本発明によれば、カメラによる高解像度の撮像が可能となり、多大な計算負荷を実時間処理で行うために、画像認識処理を高速に、効率良く、高い精度で行うことができるプレゼンテーション技術を提供することが出来る。 [0130] Further, according to the present invention enables high resolution imaging by the camera, a great deal of computational load for performing real-time processing, the image recognition processing at high speed, efficiently be performed with high precision it is possible to provide a presentation technology that can be.

【図面の簡単な説明】 【図1】本発明の一実施の形態を示す構成図。 Configuration diagram showing an embodiment of the BRIEF DESCRIPTION OF THE DRAWINGS [Figure 1] present invention. 【図2】4台のカメラでスクリーンを撮像する場合の説明図。 Figure 2 is an explanatory diagram of a case of imaging the screen with four cameras. 【図3】本発明の一実施の形態における構成要素の接続関係を示す説明図。 Explanatory view showing a connection relationship between components in one embodiment of the present invention; FIG. 【図4】本発明の一実施の形態における処理の流れを示す説明図。 Explanatory diagram showing a flow of processing according to an embodiment of the present invention; FIG. 【図5】スクリーンが平面でない場合の説明図。 FIG. 5 is an explanatory diagram of a case the screen is not a plan. 【図6】スクリーンが平面でない場合の説明図。 FIG. 6 is an explanatory diagram of a case the screen is not a plan. 【図7】画像認識装置の処理を示すフローチャート。 7 is a flowchart showing the processing of an image recognition apparatus. 【図8】画像認識装置の一構成例を示すブロック図。 8 is a block diagram showing a configuration example of an image recognition apparatus. 【図9】幾何変換についての説明図。 FIG. 9 is an explanatory diagram of the geometric transformation. 【図10】幾何変換についての説明図。 FIG. 10 is an explanatory diagram of the geometric transformation. 【図11】幾何変換の処理を示すフローチャート。 11 is a flowchart showing the processing of geometric transformation. 【図12】幾何変換で用いられるテーブルの説明図。 Figure 12 is an explanatory diagram of a table used in the geometric transformation. 【図13】幾何変換で用いられるテーブルの説明図。 Figure 13 is an explanatory diagram of a table used in the geometric transformation. 【図14】幾何変換で用いられるテーブルを作成する方法の説明図。 Figure 14 is an explanatory diagram of a method for creating a table used in the geometric transformation. 【図15】幾何変換で用いられるテーブルを作成する方法の処理を示すフローチャート。 FIG. 15 is a flowchart showing a process of a method for creating a table used in the geometric transformation. 【図16】色補正処理を示すフローチャート。 FIG. 16 is a flowchart showing the color correction processing. 【図17】色補正処理で用いられるテーブルの説明図。 Figure 17 is an explanatory diagram of a table used in the color correction process. 【図18】色補正処理で用いられるテーブルを作成する方法の処理を示すフローチャート。 FIG. 18 is a flowchart showing a process of a method for creating a table used in the color correction process. 【図19】2値画像を生成する処理を示すフローチャート。 FIG. 19 is a flowchart showing a process of generating binary image. 【図20】画像認識装置から、情報統合用装置に送られる情報の形式の一例を示した説明図。 [Figure 20] from the image recognition apparatus, explanatory view showing an example of the format of information sent in the information integration device. 【図21】画像認識装置から、情報統合用装置に送られる情報の作成方法の説明図。 [Figure 21] from the image recognition apparatus, illustrating how to create information sent in the information integration device. 【図22】画像認識装置から、情報統合用装置に送られる情報の作成方法の説明図。 [Figure 22] from the image recognition apparatus, illustrating how to create information sent in the information integration device. 【図23】情報統合用装置の一構成例を示すブロック図。 Figure 23 is a block diagram showing a configuration example of information integration device. 【図24】情報統合用装置の処理を示すフローチャート。 Figure 24 is a flowchart showing the processing of information integration device. 【図25】同一性判定処理を示すフローチャート。 Figure 25 is a flowchart showing the identity determining process. 【図26】選定処理を示すフローチャート。 Figure 26 is a flowchart showing the selection process. 【図27】複数の指示者にそれぞれ別のアイコンを与える例の説明図。 Figure 27 is an explanatory view of an example of providing a plurality of instructor by the respective icon. 【図28】指示者の位置を推定する方法についての説明図。 Figure 28 is an explanatory diagram of a method for estimating the position of the instructor. 【図29】指示者の位置を推定する方法についての説明図。 Figure 29 is an explanatory diagram of a method for estimating the position of the instructor. 【図30】指示者の位置を示すためのアイコンの例の説明図。 Figure 30 is an explanatory diagram of an example of an icon for indicating the position of the instructor. 【図31】本発明の他の実施の形態を示す構成図。 Figure 31 is a configuration diagram showing another embodiment of the present invention. 【図32】本発明の他の実施の形態におけるポインティングデバイスの説明図。 Figure 32 is an illustration of a pointing device according to another embodiment of the present invention. 【図33】本発明の他の実施の形態におけるポインティングデバイスによる光点の説明図。 Figure 33 is an illustration of the light spot due to the pointing device in another embodiment of the present invention. 【図34】本発明の他の実施の形態における処理の流れを示す説明図。 Figure 34 is an explanatory diagram showing a flow of processing in another embodiment of the present invention. 【図35】本発明の他の実施の形態における画像認識装置の一構成例を示すブロック図。 Block diagram showing a configuration example of an image recognition device according to another embodiment of FIG. 35 the present invention. 【図36】本発明の他の実施の形態における画像認識装置の処理を示すフローチャート。 Figure 36 is a flowchart showing the process of the other image recognition apparatus according to an embodiment of the present invention. 【符号の説明】 100 スクリーン102 104によって照らされた光点103 シンボル(アイコン) 104 指示器(光学的ポインティングデバイス) 105 指示者106 プロジェクタ107-1,107-2 カメラ108画像表示装置110-1,110-2 画像認識装置113 情報統合用装置114 プレゼンテーション用計算機115 歪み補正装置 [Reference Numerals] 100 Screen 102 104 point 103 symbols illuminated by (icon) 104 indicator (optical pointing device) 105 instructor 106 projector 107 - camera 108 image display device 110-1, 110-2 image recognition device 113 information integration unit 114 for presentation computer 115 distortion correction device

フロントページの続き (51)Int.Cl. 7識別記号 FI テーマコート゛(参考) G09G 5/08 G09G 5/08 L (72)発明者 武田 晴夫 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内Fターム(参考) 5B087 AA09 AB02 CC09 CC12 CC26 CC33 DD05 DE03 DE07 5C082 AA03 AA24 AA27 BB42 CA02 CA59 CB05 DA42 DA87 MM09 MM10 Of the front page Continued (51) Int.Cl. 7 identification mark FI theme Court Bu (Reference) G09G 5/08 G09G 5/08 L (72 ) inventor Haruo Takeda Kawasaki City, Kanagawa Prefecture Aso District Ozenji 1099 address Co., Ltd. Hitachi, Ltd. systems development Laboratory in the F-term (reference) 5B087 AA09 AB02 CC09 CC12 CC26 CC33 DD05 DE03 DE07 5C082 AA03 AA24 AA27 BB42 CA02 CA59 CB05 DA42 DA87 MM09 MM10

Claims (1)

  1. 【特許請求の範囲】 【請求項1】スクリーン上に画像を表示して、ポインティング装置により前記画像上を光点で指示するプレゼンテーションシステムにおいて、 前記スクリーン上に表示すべき画像を生成する画像生成手段と、 該画像生成手段により生成された画像を前記スクリーン上に表示する画像表示手段と、 前記スクリーンの画像投影面を撮像する撮像手段と、該撮像手段により撮像された画像の中から、前記ポインティング装置により指示された光点を抽出し、抽出された光点の形状を認識し、前記ポインティング装置により指示されている位置を検出する画像認識手段と、 を備え、 前記画像生成手段は、該画像認識手段により検出された位置に、前記位置を指示することを示すシンボルを合成した画像を生成し、 前記画像表示 Image to display the on - Claims 1. A screen, in a presentation system instructing at point on the image by the pointing device, an image generating means for generating an image to be displayed on the screen When an image display means for displaying the image generated by said image generating means on the screen, an imaging unit for imaging the image projection surface of the screen, from the image captured by the imaging means, the pointing extract the spot indicated by the device, the extracted light spot shape recognize, and an image recognition unit for detecting a position indicated by the pointing device, the image generating means, the image on the position detected by recognition means, generates an image obtained by synthesizing a symbol indicating that instructs the position, the image display 手段は、該シンボルを合成された画像を、 It means an image synthesized the symbol,
    前記スクリーン上に表示することを特徴とするプレゼンテーションシステム。 Presentation system and displaying on the screen. 【請求項2】スクリーン上に画像を表示して、ポインティング装置により前記画像上を光点で指示するプレゼンテーションシステムにおいて、 前記スクリーン上に表示すべき画像を生成する画像生成手段と、 該画像生成手段により生成された画像を前記スクリーン上に表示する画像表示手段と、 前記スクリーンの画像投影面を撮像する撮像手段と、 該撮像手段により撮像された画像の中から、前記ポインティング装置により指示された光点を抽出し、抽出された光点の形状を認識し、前記ポインティング装置により指示されている位置、および前記光点の形状の向きを検出する画像認識手段と、 を備え、 前記画像生成手段は、該画像認識手段により検出された位置に、前記画像認識手段により検出された向きから前記位置を指示すること Wherein displaying an image on a screen, in a presentation system for instructing on the image point by pointing device, an image generating means for generating an image to be displayed on the screen, the image producing means image display means for displaying an image generated on the screen by an imaging means for capturing an image projection plane of the screen, from the image captured by the imaging means, the light indicated by the pointing device extracting a point, recognizing the extracted light spot shape, the pointing device position indicated by, and and an image recognition means for detecting the orientation of the light spot shape, the image generating means , the position detected by the image recognition means, to instruct the position from the detected orientation by the image recognition unit 示すシンボルを合成した画像を生成し、 前記画像表示手段は、該シンボルを合成された画像を、 Generating a combined image symbol indicating the image display unit, an image synthesized with the symbols,
    前記スクリーン上に表示することを特徴とするプレゼンテーションシステム。 Presentation system and displaying on the screen. 【請求項3】スクリーン上に画像を表示して、ポインティング装置により前記画像上を光点で指示するプレゼンテーションシステムにおいて、 前記スクリーン上に表示すべき画像を生成する画像生成手段と、 該画像生成手段により生成された画像を前記スクリーン上に表示する画像表示手段と、 前記スクリーンの画像投影面を、複数の領域に分けて該領域毎に撮像する複数の撮像手段と、 該複数の撮像手段により撮像された画像の中から、前記ポインティング装置により指示された光点を抽出し、抽出された光点の形状を認識し、前記ポインティング装置により指示されている位置を検出する、並列に動作可能な複数の画像認識手段と、 該複数の画像認識手段により複数抽出された光点が、スクリーン上で同一の光点であるか否かを判定 Wherein displaying an image on a screen, in a presentation system for instructing on the image point by pointing device, an image generating means for generating an image to be displayed on the screen, the image producing means captured image display means for displaying an image generated on the screen, the image projection surface of the screen, a plurality of imaging means for imaging each region is divided into a plurality of regions, by the imaging means of the plurality of the from among the images, the extracted light spot designated by a pointing device, recognizes the extracted spot shape to detect the position indicated by the pointing device, a plurality operable in parallel an image recognition unit, a light spot having a plurality extracted by the image recognition unit said plurality of, whether the same spot on the screen the determination of 、同一であると判定された場合に、前記複数の光点から光点のあるべき位置を推定する情報統合手段と、 を備え、 前記画像生成手段は、該情報統合手段により推定された位置に、前記位置を指示することを示すシンボルを合成した画像を生成し、 前記画像表示手段は、該シンボルを合成された画像を、 , When it is determined to be the same, and an information integration means for estimating a position to a point from said plurality of light spots, said image generating means, to the position estimated by the information integrating means generates an image obtained by synthesizing the symbol indicating that instruct the position, the image display unit, an image synthesized with the symbols,
    前記スクリーン上に表示することを特徴とするプレゼンテーションシステム。 Presentation system and displaying on the screen. 【請求項4】スクリーン上に画像を表示して、ポインティング装置により前記画像上を光点で指示するプレゼンテーションシステムにおいて、 前記スクリーン上に表示すべき画像を生成する画像生成手段と、 該画像生成手段により生成された画像を前記スクリーン上に表示する画像表示手段と、 前記スクリーンの画像投影面を、複数の領域に分けて該領域毎に撮像する複数の撮像手段と、 該複数の撮像手段により撮像された画像の中から、前記ポインティング装置により指示された光点を抽出し、抽出された光点の形状を認識し、前記ポインティング装置により指示されている位置、および前記光点の形状の向きを検出する、並列に動作可能な複数の画像認識手段と、 該複数の画像認識手段により複数抽出された光点が、スクリーン上で 4. A displays an image on a screen, in a presentation system for instructing on the image point by pointing device, an image generating means for generating an image to be displayed on the screen, the image producing means captured image display means for displaying an image generated on the screen, the image projection surface of the screen, a plurality of imaging means for imaging each region is divided into a plurality of regions, by the imaging means of the plurality of the from among the images, the extracting point designated by the pointing device, the extracted light spot shape recognize, position indicated by the pointing device, and an orientation of the light spot shape detecting a plurality of image recognition means operable in parallel, the light spot having a plurality extracted by the image recognition unit said plurality of, on the screen 一の光点であるか否かを判定し、同一であると判定された場合に、前記複数の光点から光点のあるべき位置、および光点の形状の向きを推定する情報統合手段と、 を備え、 前記画像生成手段は、該情報統合手段により推定された位置に、前記情報統合手段により推定された向きから前記位置を指示することを示すシンボルを合成した画像を生成し、 前記画像表示手段は、該シンボルを合成された画像を、 It is determined whether the one spot, if it is determined to be identical, the plurality of positions should be from point of light spots, and an information integration unit for estimating the direction of the light spot shape , wherein the image generating means, the estimated position by the information integrating unit generates an image obtained by synthesizing the symbol indicating that instructs the position from the estimated orientation by the information integrating unit, said image display means have been synthesized the symbol image,
    前記スクリーン上に表示することを特徴とするプレゼンテーションシステム。 Presentation system and displaying on the screen. 【請求項5】スクリーン上に表示されるべき画像についての情報である第1の画像情報と、前記画像に光点を照射された画像についての情報である第2の画像情報とを受け付け、前記光点を抽出し、抽出された光点の形状を認識し、該光点により指示されている位置、および前記光点の形状の向きを検出することを特徴とする画像認識装置。 Accepting 5. A first image information which is information about the image to be displayed on the screen, and second image information which is information about the irradiated image light spots in the image, the extracting the light spot, the extracted spot shape recognize, position indicated by the light point, and an image recognition apparatus characterized by detecting the orientation of the light spot shape. 【請求項6】請求項1、請求項2、請求項3、または請求項4において、 前記スクリーンは、歪みを伴った平面、または非平面であり、 前記画像認識手段は、前記撮像手段により撮像された画像を、平面スクリーン上の画像に変換するための座標変換手段を備え、該座標変換手段により変換された画像を用いて、前記光点の形状を認識することを特徴とするプレゼンテーションシステム。 6. The method of claim 1, claim 2, in claim 3 or claim 4, wherein the screen is a plane accompanied by distortion or nonplanar, the image recognition means, captured by the image pickup means the image includes a coordinate converting means for converting an image on a flat screen, the presentation system using the converted image by the coordinate transformation means, and recognizes a shape of the light spot. 【請求項7】請求項1、請求項2、請求項3、または請求項4において、 前記画像認識手段は、前記画像生成手段により生成された画像から、該画像がスクリーン上に表示された画像を推定するために、前記画像生成手段により生成された画像に、実施環境状態に適合した色変換を行うための色変換手段を備え、該色変換手段により色変換された画像を用いて、前記光点の形状を認識することを特徴とするプレゼンテーションシステム。 7. The method of claim 1, claim 2, in claim 3 or claim 4, wherein the image recognition means, the image generated by the image generating means, image in which the image is displayed on the screen in order to estimate, on the image generated by the image generating means comprises a color conversion unit for performing color conversion adapted to an environment state, using an image that has undergone color conversion by the color conversion means, wherein presentation system and recognizes the spot shape. 【請求項8】請求項1、請求項2、請求項3、または請求項4において、 前記スクリーンは、歪みを伴った平面、または非平面であり、 前記画像認識手段は、前記撮像手段により撮像された画像を、平面スクリーン上の画像に変換するための座標変換手段を備え、 前記画像認識手段は、前記画像生成手段により生成された画像から、該画像がスクリーン上に表示された画像を推定するために、前記画像生成手段により生成された画像に、実施環境状態に適合した色変換を行うための色変換手段を備え、 前記座標変換手段により変換された画像と、前記色変換手段により色変換された画像とを比較して、前記光点の形状を認識することを特徴とするプレゼンテーションシステム。 8. The method of claim 1, claim 2, in claim 3 or claim 4, wherein the screen is a plane accompanied by distortion or nonplanar, the image recognition means, captured by the image pickup means the image includes a coordinate converting means for converting an image on a flat screen, the image recognition means, the image generated by the image generating unit, estimating an image to which the image is displayed on the screen colors to, to the image generating unit image generated by, with the color conversion means for performing color conversion adapted to an environment state, a converted image by the coordinate transformation means, by said color conversion means presentation system, characterized in that by comparing the converted image, recognizing the shape of the light spot. 【請求項9】スクリーン上に画像を表示して、ポインティング装置により前記画像上を光点で指示するプレゼンテーションシステムにおけるプレゼンテーション方法であって、 前記スクリーン上に表示すべき画像を生成し、 該生成された画像を前記スクリーン上に表示し、 前記スクリーンの画像投影面を撮像し、 該撮像された画像の中から、前記ポインティング装置により指示された光点を抽出し、抽出された光点の形状を認識し、前記ポインティング装置により指示されている位置を検出し、 該検出された位置に、前記位置を指示することを示すシンボルを合成した画像を生成し、 該シンボルを合成された画像を、前記スクリーン上に表示することを特徴とするプレゼンテーションシ方法。 9. displaying an image on a screen, the image on the a presentation method in the presentation system instructing at point, generates an image to be displayed on the screen, is the product by the pointing device displaying the image on the screen, captures an image projection plane of the screen, from the image-pickup image, said extracting light spot designated by the pointing device, the extracted light spot shape recognize, detect the position indicated by the pointing device, on the detected position, to generate a combined image symbol indicating that instruct the position, the image synthesized the symbol, the presentation sheet wherein the display on the screen. 【請求項10】スクリーン上に表示されるべき画像についての情報である第1の画像情報と、前記画像に光点を照射された画像についての情報である第2の画像情報とを受け付け、前記光点を抽出し、抽出された光点の形状を認識し、該光点により指示されている位置、および前記光点の形状の向きを検出することを特徴とする画像認識方法。 Accepting 10. A first image information which is information about the image to be displayed on the screen, and second image information which is information about the irradiated image light spots in the image, the extracting the light spot, the extracted spot shape recognizing the image recognition method and detecting position indicated by the light point, and an orientation of the light spot shape.
JP2001222687A 2001-07-24 2001-07-24 System and method for presentation Pending JP2003036142A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001222687A JP2003036142A (en) 2001-07-24 2001-07-24 System and method for presentation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001222687A JP2003036142A (en) 2001-07-24 2001-07-24 System and method for presentation

Publications (1)

Publication Number Publication Date
JP2003036142A true true JP2003036142A (en) 2003-02-07

Family

ID=19056129

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001222687A Pending JP2003036142A (en) 2001-07-24 2001-07-24 System and method for presentation

Country Status (1)

Country Link
JP (1) JP2003036142A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005234698A (en) * 2004-02-17 2005-09-02 Mitsubishi Precision Co Ltd Distortion parameter generation method, video generation method, distortion parameter generation system and video generation system
JP2008287625A (en) * 2007-05-21 2008-11-27 Sony Corp System, apparatus, and method for processing image, and program
US7986302B2 (en) 2006-07-26 2011-07-26 Fuji Xerox Co., Ltd. Function command system, function command device, function command analysis system, presentation system, and computer readable medium
WO2011129136A1 (en) * 2010-04-15 2011-10-20 シャープ株式会社 Display device and display direction switching system
JP2011258244A (en) * 2004-01-02 2011-12-22 Smart Technologies Ulc Interactive input system
JP2012113564A (en) * 2010-11-25 2012-06-14 Fujitsu Ltd Indication means shape acquisition device, indication means shape acquisition program, and projection system
JP2012237921A (en) * 2011-05-13 2012-12-06 Seiko Epson Corp Interactive system and control method of interactive system
JP2015096963A (en) * 2014-12-24 2015-05-21 セイコーエプソン株式会社 Interactive system, projector, and control method of projector
WO2016157786A1 (en) * 2015-03-27 2016-10-06 セイコーエプソン株式会社 Interactive projector and interactive projection system
WO2016157759A1 (en) * 2015-03-27 2016-10-06 セイコーエプソン株式会社 Interactive projector, interactive projection system, and method for controlling interactive projector

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011258244A (en) * 2004-01-02 2011-12-22 Smart Technologies Ulc Interactive input system
JP2005234698A (en) * 2004-02-17 2005-09-02 Mitsubishi Precision Co Ltd Distortion parameter generation method, video generation method, distortion parameter generation system and video generation system
JP4554231B2 (en) * 2004-02-17 2010-09-29 三菱プレシジョン株式会社 Generation method and image generation method and the distortion parameter generating apparatus and a video generating apparatus distortion parameter
US7986302B2 (en) 2006-07-26 2011-07-26 Fuji Xerox Co., Ltd. Function command system, function command device, function command analysis system, presentation system, and computer readable medium
JP2008287625A (en) * 2007-05-21 2008-11-27 Sony Corp System, apparatus, and method for processing image, and program
WO2011129136A1 (en) * 2010-04-15 2011-10-20 シャープ株式会社 Display device and display direction switching system
US8847907B2 (en) 2010-04-15 2014-09-30 Sharp Kabushiki Kaisha Display device and display direction switching system
JP2012113564A (en) * 2010-11-25 2012-06-14 Fujitsu Ltd Indication means shape acquisition device, indication means shape acquisition program, and projection system
JP2012237921A (en) * 2011-05-13 2012-12-06 Seiko Epson Corp Interactive system and control method of interactive system
JP2015096963A (en) * 2014-12-24 2015-05-21 セイコーエプソン株式会社 Interactive system, projector, and control method of projector
WO2016157786A1 (en) * 2015-03-27 2016-10-06 セイコーエプソン株式会社 Interactive projector and interactive projection system
WO2016157759A1 (en) * 2015-03-27 2016-10-06 セイコーエプソン株式会社 Interactive projector, interactive projection system, and method for controlling interactive projector

Similar Documents

Publication Publication Date Title
US6031941A (en) Three-dimensional model data forming apparatus
US6774889B1 (en) System and method for transforming an ordinary computer monitor screen into a touch screen
US6044170A (en) System and method for rapid shape digitizing and adaptive mesh generation
US20080044079A1 (en) Object-based 3-dimensional stereo information generation apparatus and method, and interactive system using the same
US20080024523A1 (en) Generating images combining real and virtual images
US6756989B1 (en) Method, system, and computer program product for filtering a texture applied to a surface of a computer generated object
US20030218607A1 (en) Three-dimensional computer modelling
US20120176478A1 (en) Forming range maps using periodic illumination patterns
US20020097245A1 (en) Sensor fusion apparatus and method for optical and magnetic motion capture systems
US20100045869A1 (en) Entertainment Device, System, and Method
US20040141156A1 (en) Position and orientation sensing with a projector
US6781618B2 (en) Hand-held 3D vision system
US6678425B1 (en) Method and apparatus for decoding angular orientation of lattice codes
US20020126913A1 (en) Image processing apparatus and method
US20020103617A1 (en) Position and orientation determining method and apparatus and storage medium
US20040155877A1 (en) Image processing apparatus
US8355565B1 (en) Producing high quality depth maps
CN101101505A (en) Method and system for implementing three-dimensional enhanced reality
JP2001325069A (en) Device and method for detecting position
WO2007015059A1 (en) Method and system for three-dimensional data capture
JP2006053568A (en) Deteriorated character image generation program, method and apparatus
Allen et al. Seeing into the past: Creating a 3D modeling pipeline for archaeological visualization
KR20060065159A (en) 3 dimensional marker detection method and device and method for providing augmented reality and mixed reality using the same
JP2002513480A (en) Create a 3d model and modified and techniques to correlate such model 2d picture
JP2003254716A (en) Instrument and method for measuring three-dimensional position and posture, storage medium, and computer program