JP4710734B2 - Pointing device, pointing position detection method, and program - Google Patents

Pointing device, pointing position detection method, and program Download PDF

Info

Publication number
JP4710734B2
JP4710734B2 JP2006171760A JP2006171760A JP4710734B2 JP 4710734 B2 JP4710734 B2 JP 4710734B2 JP 2006171760 A JP2006171760 A JP 2006171760A JP 2006171760 A JP2006171760 A JP 2006171760A JP 4710734 B2 JP4710734 B2 JP 4710734B2
Authority
JP
Japan
Prior art keywords
image
pointing
screen
marker
projected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006171760A
Other languages
Japanese (ja)
Other versions
JP2008003802A (en
Inventor
敬一 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2006171760A priority Critical patent/JP4710734B2/en
Publication of JP2008003802A publication Critical patent/JP2008003802A/en
Application granted granted Critical
Publication of JP4710734B2 publication Critical patent/JP4710734B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、コンピュータ画面をプロジェクタによりスクリーン上に投影するシステムに用いられ、その投影画像上の任意の位置をポインティングしてコンピュータ画面に反映させる機能を備えたポインティング装置と、同装置に用いられるポインティング位置検出方法及びプログラムに関する。   The present invention is used in a system for projecting a computer screen onto a screen by a projector, a pointing device having a function of pointing an arbitrary position on the projected image and reflecting it on the computer screen, and a pointing used in the device The present invention relates to a position detection method and a program.

近年、コンピュータ画面をプロジェクタによりスクリーン上に投影するシステムにおいて、投影画像上の任意の位置をポインティングすることにより、例えばコンピュータ画面上のカーソル位置を制御したり、そのポインティング位置を基準にして画面の拡大／縮小などを行うポインティング装置が注目されている。   In recent years, in a system that projects a computer screen onto a screen by a projector, by pointing an arbitrary position on the projected image, for example, the cursor position on the computer screen can be controlled, or the screen can be enlarged based on the pointing position. / Pointing devices that perform reduction or the like are drawing attention.

このようなポインティング装置では、カメラにて投影画像を撮影し、その撮影画像からコンピュータ画面の特徴点を複数抽出し、これらの特徴点の位置関係から現在のポインティング位置を検出する方法が知られている（例えば、特許文献１参照）。   In such a pointing device, a method is known in which a projected image is captured by a camera, a plurality of feature points of a computer screen are extracted from the captured image, and the current pointing position is detected from the positional relationship of these feature points. (For example, refer to Patent Document 1).

また、別の方法として、予めコンピュータ画面の四隅にマーカを表示して、これらのマーカの位置を基準にして現在のポインティング位置を検出する方法もある（例えば、特許文献２参照）。
特開２００１−１６６８８１号公報 特開平７−１２１２９３号公報 Another method is to display markers at the four corners of the computer screen in advance and detect the current pointing position based on the positions of these markers (see, for example, Patent Document 2).
JP 2001-166881 A Japanese Unexamined Patent Publication No. 7-121293

しかしながら、前記特許文献１の方法では、例えばスクリーン上に投影された画像が暗く、コンピュータ画面の特徴点を抽出できない場合にはポインティング位置を検出できないといった問題がある。   However, the method disclosed in Patent Document 1 has a problem that a pointing position cannot be detected when, for example, an image projected on a screen is dark and a feature point of a computer screen cannot be extracted.

また、前記特許文献２の方法では、コンピュータ画面の四隅に位置検出用のマーカを常に表示しておく必要があるため、これらのマーカが目障りとなり、ポインティング操作がしづらいなどの問題がある。   Further, in the method of Patent Document 2, it is necessary to always display position detection markers at the four corners of the computer screen. Therefore, there is a problem that these markers are obstructive and the pointing operation is difficult.

本発明は前記のような点に鑑みなされたもので、マーカを常時表示することなく、スクリーン上の投影画像に対するポインティング位置を正確に検出することのできるポインティング装置、ポインティング位置検出方法及びプログラムを提供することを目的とする。   The present invention has been made in view of the above points, and provides a pointing device, a pointing position detection method, and a program capable of accurately detecting a pointing position with respect to a projected image on a screen without always displaying a marker. The purpose is to do.

本発明のポインティング装置は、スクリーン上に投影された画像の任意の位置をポインティングするポインティング装置において、特定のモードを設定するモード設定手段と、このモード設定手段によって前記特定のモードが設定されたときのみ、前記スクリーン上の投影画像の四箇所にマーカを表示させるマーカ表示手段と、このマーカ表示手段によって表示されたマーカ付きの投影画像をその周辺画像を含めて撮影した第１の画像を取得する第１の画像取得手段と、前記第１の画像に含まれる前記周辺画像から特徴点を抽出する第１の特徴点抽出手段と、通常のモードにおいて、前記スクリーン上の投影画像をその周辺画像を含めて撮影した第２の画像を取得する第２の画像取得手段と、前記第２の画像に含まれる前記周辺画像から特徴点を抽出する第２の特徴点抽出手段と、前記第１の画像上の前記各マーカの位置と、前記第１の特徴点抽出手段によって抽出された特徴点と前記第２の特徴点抽出手段によって抽出された特徴点との対応関係に基づいて、現在のポインティング位置を検出する位置検出手段として構成される。   The pointing device of the present invention is a pointing device for pointing at an arbitrary position of an image projected on a screen, and mode setting means for setting a specific mode, and when the specific mode is set by the mode setting means Only, marker display means for displaying markers at four positions of the projected image on the screen, and a first image obtained by photographing the projected image with the marker displayed by the marker display means including its peripheral image is acquired. A first image acquisition unit; a first feature point extraction unit that extracts a feature point from the peripheral image included in the first image; and a projection image on the screen as a peripheral image in a normal mode. A second image acquisition means for acquiring a second image captured and a feature from the peripheral image included in the second image; The second feature point extracting means for extracting the position of each marker on the first image, the feature points extracted by the first feature point extracting means, and the second feature point extracting means. Based on the correspondence relationship with the extracted feature points, it is configured as position detection means for detecting the current pointing position.

本発明によれば、特定のモードでマーカ付きの画像を位置検出用に登録しておくことで、マーカの常時表示を必要とせずに、スクリーン上の投影画像に対するポインティング位置を正確に検出することができる。   According to the present invention, by registering an image with a marker for position detection in a specific mode, it is possible to accurately detect the pointing position with respect to the projected image on the screen without requiring the marker to be always displayed. Can do.

以下、図面を参照して本発明の実施形態を説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は本発明の一実施形態に係るポインティング装置を用いた投影システムの構成を示す図である。   FIG. 1 is a diagram showing a configuration of a projection system using a pointing device according to an embodiment of the present invention.

本システムは、ポインティング装置１１、プロジェクタ１２、ＰＣ（Personal Computer）１３からなる。プロジェクタ１２とＰＣ１３とは通信ケーブル１４を介して接続されており、プロジェクタ１２はＰＣ画面を投影対象としてスクリーン１５上に投影表示する。   The system includes a pointing device 11, a projector 12, and a PC (Personal Computer) 13. The projector 12 and the PC 13 are connected via a communication cable 14, and the projector 12 projects and displays the PC screen on the screen 15 as a projection target.

なお、プロジェクタ１２やＰＣ１３は一般的に用いられているものであり、その具体的な構成については省略するものとする。   Note that the projector 12 and the PC 13 are generally used, and a specific configuration thereof will be omitted.

また、プロジェクタ１２とＰＣ１３との接続形態は、図１の例では通信ケーブル１４を用いているが、無線通信を利用することも可能である。スクリーン１５は、例えばホワイトボードなどであり、プロジェクタ１２と対向させて設置される。図中の１６は、このスクリーン１５に対するプロジェクタ１２の投影領域を示している。   Further, the connection form between the projector 12 and the PC 13 uses the communication cable 14 in the example of FIG. 1, but wireless communication can also be used. The screen 15 is, for example, a white board, and is installed to face the projector 12. Reference numeral 16 in the drawing denotes a projection area of the projector 12 on the screen 15.

ポインティング装置１１は、プロジェクタの投影領域１６内の任意の位置Ｐをポインティング操作するためのものである。このポインティング装置１１の先端部には、カメラ１０が設置されており、このカメラ１０で撮影された画像を用いて現在のポインティング位置Ｐが検出され、ワイヤレス通信などでＰＣ１３に伝えられる。これにより、ＰＣ１３では、ポインティング位置Ｐに基づいて画面上のカーソルの移動制御や、画面の拡大／縮小などの表示制御を行う。   The pointing device 11 is for performing a pointing operation at an arbitrary position P in the projection area 16 of the projector. A camera 10 is installed at the tip of the pointing device 11, and the current pointing position P is detected using an image photographed by the camera 10, and transmitted to the PC 13 by wireless communication or the like. Accordingly, the PC 13 performs display control such as cursor movement control on the screen and screen enlargement / reduction based on the pointing position P.

図２はＰＣ画面に表示させるマーカの一例を示す図である。   FIG. 2 is a diagram illustrating an example of a marker displayed on the PC screen.

本システムでは、後述するキャリブレーションモードが設定されたときに、ＰＣ画面の四隅にマーカ１７ａ〜１７ｄを表示させる。ただし、このマーカ１７ａ〜１７ｄは、キャリブレーションモードのときだけ表示されるものであり、通常のモードである実動作モードに移行した後は表示されない。   In this system, markers 17a to 17d are displayed at the four corners of the PC screen when a calibration mode to be described later is set. However, the markers 17a to 17d are displayed only in the calibration mode, and are not displayed after shifting to the actual operation mode which is the normal mode.

次に、ポインティング装置１１の構成について説明する。
図３はポインティング装置１１の構成を示すブロック図である。 Next, the configuration of the pointing device 11 will be described.
FIG. 3 is a block diagram showing the configuration of the pointing device 11.

ポインティング装置１１は、光学レンズ装置２１と、イメージセンサ２２と、メモリ２３と、画像処理装置２４と、ＣＰＵ２５と、プログラムコード記憶装置２６と、操作部２７と、コンピュータインタフェース部２８と、投影領域検出表示部２９とを備える。   The pointing device 11 includes an optical lens device 21, an image sensor 22, a memory 23, an image processing device 24, a CPU 25, a program code storage device 26, an operation unit 27, a computer interface unit 28, and a projection area detection. And a display unit 29.

光学レンズ装置２１とイメージセンサ２２は、カメラ１０の構成要素である。光学レンズ装置２１は、フォーカスレンズやズームレンズを含む撮影レンズと、この撮影レンズを光軸方向に駆動するための駆動部とを備え、ＣＰＵ２５によって制御され、イメージセンサ２２上に撮影対象からの光を集光させて像を結像させる。   The optical lens device 21 and the image sensor 22 are components of the camera 10. The optical lens device 21 includes a photographic lens including a focus lens and a zoom lens, and a drive unit for driving the photographic lens in the optical axis direction. The optical lens device 21 is controlled by the CPU 25 to emit light from the photographic subject on the image sensor 22. Is condensed to form an image.

イメージセンサ２２は、結像した画像をデジタル化した画像データとして取り込むためのものであり、例えばＣＣＤ(charge coupled device：電荷結合素子）等によって構成される。このイメージセンサ２２は、ＣＰＵ２５によって制御され、デジタルの画像データを所定の周期で生成して、これを秒間１００枚程度の間隔でメモリ２３に送出する。   The image sensor 22 is for capturing a formed image as digitized image data, and is configured by, for example, a CCD (charge coupled device). The image sensor 22 is controlled by the CPU 25 to generate digital image data at a predetermined cycle and send it to the memory 23 at intervals of about 100 sheets per second.

メモリ２３は、イメージセンサ２２によって得られる複数枚の画像データを記憶すると共に、画像処理装置２４が処理対象とする元画像のデータや処理後の画像データを一時的に記憶する。このメモリ２３は、イメージセンサ２２から得られる撮影画像を取り込んだり、ＣＰＵ２５や画像処理装置２４によって一時記憶されたデータなどを読み書きできるように構成されている。   The memory 23 stores a plurality of pieces of image data obtained by the image sensor 22 and temporarily stores original image data to be processed by the image processing device 24 and processed image data. The memory 23 is configured to be able to capture a captured image obtained from the image sensor 22 and read / write data temporarily stored by the CPU 25 or the image processing device 24.

画像処理装置２４は、ＣＰＵ２５の制御の下で、メモリ２３に記憶された撮影画像を用いてポインティング位置Ｐの計算処理などを行う。   Under the control of the CPU 25, the image processing device 24 performs a calculation process of the pointing position P using the captured image stored in the memory 23.

ＣＰＵ２５は、プログラムコード記憶装置２６に記憶されたプログラムを読み込むことにより、このプログラムに記述された手順に従って各種処理を実行する。なお、メモリ２３は、このＣＰＵ２５の作業メモリとしても用いられる。   The CPU 25 reads the program stored in the program code storage device 26 and executes various processes according to the procedure described in the program. The memory 23 is also used as a working memory for the CPU 25.

プログラムコード記億装置２６は、ＣＰＵ２５が実行するプログラムを記憶するためのものであり、例えばＲＯＭやフラッシュメモリなどからなる。   The program code storage device 26 is for storing a program executed by the CPU 25, and is composed of, for example, a ROM or a flash memory.

操作部２７は、電源ボタン２７ａ、キャリブレーションボタン２７ｂなどを含む各種操作ボタンからなる。電源ボタン２７ａは、ポインティング装置１１の電源をＯＮ／ＯＦＦするためのボタンである。キャリブレーションボタン２７ｂは、ユーザがキャリブレーションモードを任意に設定するための操作ボタンである。   The operation unit 27 includes various operation buttons including a power button 27a and a calibration button 27b. The power button 27 a is a button for turning on / off the power of the pointing device 11. The calibration button 27b is an operation button for the user to arbitrarily set the calibration mode.

コンピュータインタフェース部２８は、ＰＣ１３との間でデータの送受信を行う。このコンピュータインタフェース部２８としては、例えばＢｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ（Local Area Network）などが用いられる。このコンピュータインタフェース部２８は、画像処理装置２４によって算出された現在のポインティング位置Ｐの座標情報をＰＣ１３に送信する。   The computer interface unit 28 transmits / receives data to / from the PC 13. For example, Bluetooth (registered trademark) or a wireless local area network (LAN) is used as the computer interface unit 28. The computer interface unit 28 transmits the coordinate information of the current pointing position P calculated by the image processing device 24 to the PC 13.

また、投影領域検出表示部２９は、ポインティング装置１１がスクリーン１５上の投影画像を正しく認識できているか否かを表示する。この投影領域検出表示部２９としては、例えばＬＥＤ（Light Emitting Diode）が用いられ、図１の例のように装置本体の上面などに設置される。   The projection area detection display unit 29 displays whether or not the pointing device 11 has correctly recognized the projection image on the screen 15. As the projection area detection display unit 29, for example, an LED (Light Emitting Diode) is used, and is installed on the upper surface of the apparatus body as in the example of FIG.

次に、ポインティング装置１１の処理動作について説明する。   Next, the processing operation of the pointing device 11 will be described.

図４は本実施形態におけるポインティング装置１１の処理動作を示すフローチャートである。なお、このフローチャートで示される各処理は、コンピュータであるＣＰＵ２５がプログラムコード記憶装置２６に記憶されたプログラムを読み込むことにより実行される。   FIG. 4 is a flowchart showing the processing operation of the pointing device 11 in this embodiment. Each process shown in this flowchart is executed by the CPU 25, which is a computer, reading a program stored in the program code storage device 26.

（ＣＰＵ２５の基本動作）
ポインティング装置１１を使用するに際し、まず、ユーザが操作部２７に設けられた電源ボタン２７ａを押下して電源をＯＮする。このとき、プロジェクタ１２とＰＣ１３の電源はＯＮ状態にあり、ＰＣ画面がプロジェクタ１２によってスクリーン１５上に投影表示されているものとする。 (Basic operation of CPU 25)
When using the pointing device 11, the user first presses the power button 27 a provided on the operation unit 27 to turn on the power. At this time, the projector 12 and the PC 13 are powered on, and the PC screen is projected and displayed on the screen 15 by the projector 12.

ポインティング装置１１の電源がＯＮされると、キャリブレーションモードと呼ばれる特定のモードが設定され、以下のような処理が実行される。   When the power of the pointing device 11 is turned on, a specific mode called a calibration mode is set, and the following processing is executed.

まず、ＣＰＵ２５は、初期設定として、投影領域検出表示部２９をＯＦＦしておく（ステップＳ１００）。   First, the CPU 25 turns off the projection area detection display unit 29 as an initial setting (step S100).

次に、ＣＰＵ２５は、イメージセンサ２２を制御して、ポインティング装置１１が向けられた方向の撮影画像を読み込み、これを画像１としてメモリ２３の所定の領域に格納する（ステップＳ１０１）。この場合、ポインティング装置１１がスクリーン１５上の投影画像に正しく向けられていれば、前記画像１には、ＰＣ画面の投影画像とその周辺の画像が含まれていることになる。なお、周辺の画像とは、例えばスクリーン１５の枠や、スクリーン１５が置かれた部屋の照明器具などである。   Next, the CPU 25 controls the image sensor 22 to read a photographed image in the direction in which the pointing device 11 is directed, and stores this in the predetermined area of the memory 23 as an image 1 (step S101). In this case, if the pointing device 11 is correctly directed to the projected image on the screen 15, the image 1 includes the projected image of the PC screen and the surrounding image. The peripheral image is, for example, a frame of the screen 15 or a lighting device in a room where the screen 15 is placed.

次に、ＣＰＵ２５は、図２に示すようなマーカ１７ａ〜１７ｄを表示させるためのコマンドをコンピュータインタフェース部２８を介してＰＣ１３に送信する（ステップＳ１０２）。   Next, the CPU 25 transmits a command for displaying the markers 17a to 17d as shown in FIG. 2 to the PC 13 via the computer interface unit 28 (step S102).

ＰＣ１３には、前記コマンドを受け取ったら、ＰＣ画面の四隅にマーカ１７ａ〜１７ｄを表示するソフトウェアが予めインストールされている。また、ＰＣ１３は、前記コマンドによりマーカ１７ａ〜１７ｄを表示すると、その旨をポインティング装置１１に通知する。このマーカ表示通知はコンピュータインタフェース部２８を介してＣＰＵ２５に与えられる。これにより、ＣＰＵ２５はマーカ１７ａ〜１７ｄが表示されたことを確認できる。   When the command is received, the PC 13 is preinstalled with software for displaying the markers 17a to 17d at the four corners of the PC screen. Further, when displaying the markers 17a to 17d by the command, the PC 13 notifies the pointing device 11 to that effect. This marker display notification is given to the CPU 25 via the computer interface unit 28. Thereby, CPU25 can confirm that the markers 17a-17d were displayed.

マーカ１７ａ〜１７ｄの表示後、ＣＰＵ２５は、再び、イメージセンサ２２を制御して、ポインティング装置１１が向けられた方向の撮影画像を読み込み、これをマーカ画像としてメモリ２３の所定の領域に格納する（ステップＳ１０３）。前記マーカ画像には、マーカ１７ａ〜１７ｄを有するＰＣ画面の投影画像とその周辺の画像が含まれている。   After displaying the markers 17a to 17d, the CPU 25 controls the image sensor 22 again to read a photographed image in the direction in which the pointing device 11 is directed, and stores this as a marker image in a predetermined area of the memory 23 ( Step S103). The marker image includes a projected image of the PC screen having the markers 17a to 17d and the surrounding image.

また、ＣＰＵ２５は、ＰＣ１３に対してマーカ表示の停止コマンドを送信することにより、ＰＣ画面を元の状態に戻しておく（ステップＳ１０４）。   Further, the CPU 25 returns the PC screen to the original state by transmitting a marker display stop command to the PC 13 (step S104).

このようにして、メモリ２３には、マーカなしで撮影した画像（画像１）とマーカありで撮影した画像（マーカ画像）が保存されたことになる。ＣＰＵ２５は、この２枚の画像から後述するポインティング位置計算処理に必要なデータを抽出させるために、画像処理装置２４に対して投影領域登録処理を実行させる（ステップＳ１０５）。なお、この投影領域登録処理については、後に図５を参照して詳しく説明する。   In this way, the memory 23 stores an image captured without a marker (image 1) and an image captured with a marker (marker image). The CPU 25 causes the image processing device 24 to execute a projection area registration process in order to extract data necessary for a pointing position calculation process, which will be described later, from these two images (step S105). The projection area registration process will be described in detail later with reference to FIG.

次に、ＣＰＵ２５は、画像処理装置２４の処理結果レジスタをアクセスして登録処理が正常に終了したか否かを確認する（ステップＳ１０６）。その結果、登録処理が正常に終了していなかった場合には（ステップＳ１０６のＮｏ）、ＣＰＵ２５は、電源ボタン２７ａがＯＦＦされていないことを確認し（ステップＳ１０７のＮｏ）、再度２枚の画像（マーカなしの画像１とマーカ撮影）を得るためにステップＳ１０１に戻る。   Next, the CPU 25 accesses the processing result register of the image processing device 24 and checks whether or not the registration processing has been completed normally (step S106). As a result, if the registration process has not ended normally (No in step S106), the CPU 25 confirms that the power button 27a has not been turned off (No in step S107), and again the two images. The process returns to step S101 to obtain (image 1 without marker and marker shooting).

この間、投影領域検出表示部２９はＯＦＦしているので、ユーザは登録失敗の原因がポインティング装置１１の向きにあることを認識できる。   During this time, since the projection area detection display unit 29 is OFF, the user can recognize that the cause of the registration failure is the direction of the pointing device 11.

ポインティング装置１１が投影画像に対して正しく向けられると、画像処理装置２４による投影領域登録処理が正常に終了する（ステップＳ１０６のＹｅｓ）。これにより、ＣＰＵ２５は、投影領域検出表示部２９を点灯した後（ステップＳ１１４）、電源ボタン２７ａがＯＦＦされていないことを確認して（ステップＳ１１５のＮｏ）、通常時の実動作モードへ移行する。   When the pointing device 11 is correctly oriented with respect to the projection image, the projection area registration processing by the image processing device 24 ends normally (Yes in step S106). Thereby, the CPU 25 turns on the projection area detection display unit 29 (step S114), confirms that the power button 27a is not turned off (No in step S115), and shifts to the normal actual operation mode. .

なお、前記ステップＳ１０７あるいは前記ステップＳ１１５において、ユーザが電源ボタン２７ａの操作により電源をＯＦＦした場合には、ＣＰＵ２５は、直ちに終了処理を行うことになる。   In step S107 or step S115, if the user turns off the power by operating the power button 27a, the CPU 25 immediately performs an end process.

実動作モードに移行すると、ＣＰＵ２５は、まず、キャリブレーションボタン２７ｂの状態を確認する（ステップＳ１０９）。キャリブレーションボタン２７ｂが押下されていなければ（ステップＳ１０９のＮｏ）、ＣＰＵ２５は、前記ステップＳ１０１のとき同様に、イメージセンサ２２を制御してポインティング装置１１が向けられた方向の撮影画像を読み込み、これを画像１としてメモリ２３の所定の領域に格納する（ステップＳ１０３）。   When shifting to the actual operation mode, the CPU 25 first checks the state of the calibration button 27b (step S109). If the calibration button 27b has not been pressed (No in step S109), the CPU 25 controls the image sensor 22 to read the captured image in the direction in which the pointing device 11 is directed, as in step S101. Is stored as an image 1 in a predetermined area of the memory 23 (step S103).

続いて、ＣＰＵ２５は、投影領域座標系においてポインティング装置１１が向けられている座標を画像処理装置２４に求めさせる（ステップＳ１１１）。「投影領域座標系においてポインティング装置１１が向けられている座標」とは、図１に示すように、カメラ１０の光軸が投影領域１６と交差する位置、つまり、スクリーン１５上の投影画像（ＰＣ画面）に対してポインティング装置１１が指し示しているポインティング位置Ｐの座標のことを言う。なお、ここでのポインティング位置計算処理については後に図６を参照して詳しく説明する。   Subsequently, the CPU 25 causes the image processing device 24 to obtain the coordinates to which the pointing device 11 is directed in the projection area coordinate system (step S111). As shown in FIG. 1, the “coordinate to which the pointing device 11 is directed in the projection area coordinate system” means a position where the optical axis of the camera 10 intersects the projection area 16, that is, a projected image (PC on the screen 15). The coordinates of the pointing position P pointed to by the pointing device 11 with respect to (screen). The pointing position calculation process here will be described in detail later with reference to FIG.

次に、ＣＰＵ２５は、画像処理装置２４の処理結果レジスタをアクセスして計算処理が正常に終了したか否かを確認する（ステップＳ１１２）。その結果、ポインティング装置１１が投影画像に向けられていないなどの理由で、ポインティング位置Ｐの座標が取得されなかった場合には（ステップＳ１１２のＮｏ）、ＣＰＵ２５は、投影領域検出表示部２９の点灯を消した後（ステップＳ１１６）、電源ボタン２７ａがＯＦＦされていないことを確認し、次の撮影画像を得るためにステップ１０９に戻る。   Next, the CPU 25 accesses the processing result register of the image processing device 24 and confirms whether or not the calculation process has been completed normally (step S112). As a result, when the coordinates of the pointing position P are not acquired because the pointing device 11 is not directed to the projection image (No in step S112), the CPU 25 turns on the projection area detection display unit 29. After erasing (step S116), it is confirmed that the power button 27a is not turned off, and the process returns to step 109 to obtain the next photographed image.

一方、ポインティング装置１１が投影画像に正しく向けられていれば、画像処理装置２４によるポインティング位置Ｐの計算処理が正常に終了する。正常に終了した場合には（ステップＳ１１２のＹｅｓ）、ＣＰＵ２５は、得られたポインティング位置Ｐの座標情報をＰＣ１３に送信する（ステップＳ１１３）。ＰＣ１３では、このポインティング位置Ｐの座標情報に基づいてカーソルの移動制御などを行うことになる。   On the other hand, if the pointing device 11 is correctly directed to the projection image, the calculation processing of the pointing position P by the image processing device 24 is normally completed. When the process is normally completed (Yes in step S112), the CPU 25 transmits the obtained coordinate information of the pointing position P to the PC 13 (step S113). The PC 13 performs cursor movement control based on the coordinate information of the pointing position P.

また、ポインティング位置Ｐの座標が取得できた場合には、その旨をユーザに知らせるために投影領域検出表示部２９を点灯させておく（ステップＳ１１４）。以後、ＣＰＵ２５は、ユーザが操作するポインティング装置１１の動きに応答させるために、前記同様のポインティング処理を繰り返し行うことになる。   If the coordinates of the pointing position P can be acquired, the projection area detection display unit 29 is turned on to notify the user to that effect (step S114). Thereafter, the CPU 25 repeatedly performs the same pointing process as described above in order to respond to the movement of the pointing device 11 operated by the user.

ところで、例えばユーザがキャリブレーションモード時にマーカ画像を登録した場所から違う場所に移動すると、ポインティング装置１１をどの方向に向けても、マーカ画像との対応が取れないため、ポインティング位置Ｐを求めることができない。このような場合に、キャリブレーションボタン２７ｂを用いる。   By the way, for example, when the user moves from the location where the marker image is registered in the calibration mode to a different location, the pointing position P can be obtained because the pointing device 11 cannot be associated with the marker image in any direction. Can not. In such a case, the calibration button 27b is used.

キャリブレーションボタン２７ｂが押下されると（ステップＳ１０９のＹｅｓ）、ＣＰＵ２５は、キャリブレーションモードを再設定し、投影領域登録処理を画像処理装置２４に実行させて、新たなマーカ画像を位置検出用として再登録する。   When the calibration button 27b is pressed (Yes in step S109), the CPU 25 resets the calibration mode, causes the image processing device 24 to execute the projection area registration process, and uses a new marker image for position detection. Re-register.

（画像処理装置２４の投影領域登録処理）
図５は前記ステップＳ１０５で実行される画像処理装置２４の投影領域登録処理の詳細を示すフローチャートである。 (Projection region registration processing of the image processing device 24)
FIG. 5 is a flowchart showing details of the projection area registration process of the image processing apparatus 24 executed in step S105.

画像処理装置２４には、マーカなしの画像１とマーカ画像の２枚が与えられている。この２枚の画像は同じ向きで連続して撮影されたものであり、その画像間の動きによる位置ずれはないものとみなせる。よって、この２枚の撮影画像の差分を求めれば、マーカ部分のみを簡単に抽出することができる。   The image processing device 24 is provided with two images, a markerless image 1 and a marker image. These two images are taken continuously in the same direction, and it can be considered that there is no position shift due to movement between the images. Therefore, if the difference between the two photographed images is obtained, only the marker portion can be easily extracted.

詳しく説明すると、画像処理装置２４は、画像１とマーカ画像との差分画像を作成し（ステップＳ２０１）、その差分画像を二値化して、マーカ１７ａ〜１７ｄの抽出を行う（ステップＳ２０２）。   More specifically, the image processing device 24 creates a difference image between the image 1 and the marker image (step S201), binarizes the difference image, and extracts the markers 17a to 17d (step S202).

ここで、画像処理装置２４は、４つのマーカ１７ａ〜１７ｄの位置を調べ、これらが所定の条件を満たしているか否かを判断する（ステップＳ２０３）。前記所定の条件とは、４つのマーカ１７ａ〜１７ｄの重心が撮影画像の中心部付近にあり、かつ、各マーカ１７ａ〜１７ｄのそれぞれが撮影画像の外側付近にないことである。   Here, the image processing device 24 examines the positions of the four markers 17a to 17d and determines whether or not these satisfy a predetermined condition (step S203). The predetermined condition is that the center of gravity of the four markers 17a to 17d is near the center of the photographed image, and each of the markers 17a to 17d is not near the outside of the photographed image.

具体的には、図７に示すように、マーカ画像の横サイズをＷ、縦サイズをＨとすると、マーカ１７ａ〜１７ｄの重心がＥ１の範囲内にあり、かつ、マーカ１７ａ〜１７ｄのそれぞれがＥ２の範囲内にないことを条件とする。このような条件を定めておくのは、ポインティング装置１１のカメラ１０を通じて投影画像を中心にして、その周辺の画像を偏りなく撮影した画像を得るためであり、このようなマーカ画像を位置検出に用いることで、後のポインティング位置Ｐの計算精度が高くなるからである。   Specifically, as shown in FIG. 7, when the horizontal size of the marker image is W and the vertical size is H, the centers of gravity of the markers 17a to 17d are within the range of E1, and each of the markers 17a to 17d is The condition is that it is not within the range of E2. Such a condition is determined in order to obtain an image obtained by photographing the peripheral image without bias with the projection image as the center through the camera 10 of the pointing device 11. Such a marker image is used for position detection. This is because the calculation accuracy of the subsequent pointing position P is increased.

マーカ１７ａ〜１７ｄの座標が前記所定の条件を満たす場合には（ステップＳ２０３でＹｅｓ）、画像処理装置２４は、当該マーカ画像を位置検出用としてメモリ２３に登録すると共に、その画像から特徴点の抽出を行う（ステップＳ２０４）。   When the coordinates of the markers 17a to 17d satisfy the predetermined condition (Yes in step S203), the image processing device 24 registers the marker image in the memory 23 for position detection, and from the image, the feature point is detected. Extraction is performed (step S204).

特徴点としては、ユーザがポインティング装置１１を動かしたときに得られる前後２枚の画像間で対応が取り易い点を選ぶ。特徴点の抽出方法には、例えばＫＬＴ法、ＳＵＳＡＮ法などが知られている。このような手法によって特徴点を抽出する（ステップＳ２０４）。なお、特徴点として好ましいものは、どの方向から見ても輝度勾配の大きい点であり、孤立点や物体の角に対応する点である。このような特徴点を当該マーカ画像の全体から偏りなく抽出するものとする。   As a feature point, a point is selected that allows easy correspondence between the two images before and after the user moves the pointing device 11. Known feature point extraction methods include, for example, the KLT method and the SUSAN method. Feature points are extracted by such a method (step S204). What is preferable as a feature point is a point having a large luminance gradient when viewed from any direction, and a point corresponding to an isolated point or an object corner. It is assumed that such feature points are extracted from the entire marker image without deviation.

ただし、ここで得られた特徴点には、投影領域１６つまりＰＣ画面の投影画像から抽出されたものも含まれている。これらの特徴点は、投影内容が変わると変化してしまうため、特徴点の候補から除外するものとする（ステップＳ２０５）。   However, the feature points obtained here include those extracted from the projection region 16, that is, the projection image of the PC screen. Since these feature points change when the projection contents change, they are excluded from the feature point candidates (step S205).

残った特徴点が投影画像の周辺の画像に対応したものである。画像処理装置２４は、その周辺画像の特徴点の数が規定数以上あるか否かを確認する（ステップＳ２０６）。実際の動作を考えると、特徴点の数は５０以上あるのが望ましい。特徴点の数が規定数に満たない場合には（ステップＳ２０６でＮｏ）、特徴点をさらに検索することが望ましい（ステップＳ２０７）。   The remaining feature points correspond to the peripheral images of the projection image. The image processing device 24 checks whether or not the number of feature points of the peripheral image is equal to or greater than a specified number (step S206). Considering the actual operation, it is desirable that the number of feature points is 50 or more. When the number of feature points is less than the specified number (No in step S206), it is desirable to further search for feature points (step S207).

画像処理装置２４は、このようにして選ばれた特徴点の座標リストを作成し、これをメモリ２３に保存しておく（ステップＳ２０８）。そして、画像処理装置２４内に設けられた処理結果レジスタに処理が成功したことを記録する（ステップＳ２０９）。   The image processing device 24 creates a coordinate list of the feature points selected in this way, and stores it in the memory 23 (step S208). Then, the fact that the processing is successful is recorded in a processing result register provided in the image processing device 24 (step S209).

一方、前記ステップＳ２０３で、マーカ画像から抽出された４つのマーカ１７ａ〜１７ｄの位置が前記所定の条件を満たさない場合には（ステップＳ２０３のＮｏ）、画像処理装置２４は、当該マーカ画像を不適切であると判断して、処理結果レジスタに処理が失敗したことを記録する（ステップＳ２１０）。   On the other hand, when the positions of the four markers 17a to 17d extracted from the marker image do not satisfy the predetermined condition in step S203 (No in step S203), the image processing device 24 does not recognize the marker image. Judging that the processing is appropriate, the fact that the processing has failed is recorded in the processing result register (step S210).

（画像処理装置２４のポインティング位置計算処理）
図６は前記ステップＳ１１１で実行される画像処理装置２４のポインティング位置計算処理の詳細を示すフローチャートである。 (Pointing position calculation processing of the image processing device 24)
FIG. 6 is a flowchart showing details of the pointing position calculation process of the image processing apparatus 24 executed in step S111.

ポインティング位置Ｐの計算は、位置検出用として登録されたマーカ画像と今回撮影された画像との間で特徴点の対応を取ることで行う。本実施形態では、２枚の画像間の対応に２次元モデルを用いるものとする。   The calculation of the pointing position P is performed by associating feature points between the marker image registered for position detection and the image captured this time. In the present embodiment, it is assumed that a two-dimensional model is used for correspondence between two images.

通常、ＰＣ１３の画像はスクリーンやホワイトボードなどの２次元平面状に投影されるので、これらの平面状や、近傍の柱や枠などは近似的に２次元平面上にあると仮定できる。よって、これらの部分から抽出された特徴点は２次元上にある。なお、これらの平面状以外で特徴点が選ばれることがあるが、ポインティング装置１１を視差が出るように移動しない限りにおいては特に問題ない。   Usually, since the image of the PC 13 is projected on a two-dimensional plane such as a screen or a whiteboard, it can be assumed that these planes, neighboring columns and frames are approximately on a two-dimensional plane. Therefore, the feature points extracted from these parts are two-dimensional. Note that feature points may be selected other than these planar shapes, but there is no particular problem as long as the pointing device 11 is not moved so as to produce parallax.

もちろん３次元モデルを用いてもかまわない。ただし、ポインティング位置Ｐを特定できる適応範囲が広くなるが、その一方で演算処理時間が増えることになる。   Of course, a three-dimensional model may be used. However, although the adaptive range in which the pointing position P can be specified is widened, the calculation processing time is increased.

画像処理装置２４は、前記ステップＳ２０４〜Ｓ２０７と同様にして、今回撮影された画像から投影画像の周辺の画像に対応した特徴点を抽出する（ステップＳ３０１）。そして、これらの特徴点とマーカ画像から抽出された特徴点との対応処理を行う（ステップＳ３０２）。   Similar to steps S204 to S207, the image processing device 24 extracts feature points corresponding to the peripheral images of the projection image from the currently captured image (step S301). Then, correspondence processing between these feature points and the feature points extracted from the marker image is performed (step S302).

この特徴点の対応処理には、ＲＡＮＳＡＣ(Random Sample Consensus Argorithm)などにより誤った対応点（ＯＵＴＬＩＥＲ）をはじきながら正しい対応点のみを抽出する手法が知られている。ＯＵＴＬＩＥＲが除外された対応付けを用いて、さらに各特徴点の精度の高いトラッキングを行う。すなわち、２枚の画像間で特徴点の近傍の画像においてＳＳＤ(Sum of Square Difference)を利用してテンプレートマッチングを行い、さらに精度の高い特徴点の対応を求める（ステップＳ３０３）。その際、ＳＳＤの値が予め決められた値より小さくならない場合は、ミス対応と考えられるので特徴点のリストから除外するものとする。   As the feature point correspondence processing, a method is known in which only the right correspondence point is extracted while repelling an erroneous correspondence point (OUTLIER) by RANSAC (Random Sample Consensus Argorithm) or the like. Using the association from which OUTLIER is excluded, tracking of each feature point is performed with higher accuracy. That is, template matching is performed using an SSD (Sum of Square Difference) on an image in the vicinity of a feature point between two images to obtain a more accurate feature point correspondence (step S303). At this time, if the SSD value does not become smaller than a predetermined value, it is considered to be a correspondence with an error, and is excluded from the feature point list.

このようにして、画像間で特徴点を追跡することで、互いに対応する数を検査する（ステップＳ３０４）。２次元モデルの場合、少なくとも４点以上の対応がないと、２枚の画像間の移動を推定できない。実際には、誤差などを考慮して１５点以上の対応が必要である。十分に対応点がある場合には（ステップＳ３０４のＹｅｓ）、これらの対応点からポインティング装置１１が向いている座標つまりスクリーン１５上の投影画像に対するポインティング位置Ｐの座標を求めることができる（ステップＳ３０５）。   In this way, by tracking feature points between images, the numbers corresponding to each other are inspected (step S304). In the case of a two-dimensional model, movement between two images cannot be estimated unless there is at least four correspondences. Actually, it is necessary to deal with 15 points or more in consideration of errors and the like. If there are enough corresponding points (Yes in step S304), the coordinates of the pointing device 11 from the corresponding points, that is, the coordinates of the pointing position P with respect to the projected image on the screen 15 can be obtained (step S305). ).

前記ステップＳ３０５での求め方は以下の通りである。   The method of obtaining in step S305 is as follows.

すなわち、マーカ画像から得られた４点のマーカ１７ａ〜１７ｄの位置座標ベクトル（マーカ画像の座標系）をｕ１，ｕ２，ｕ３，ｕ４とする。これらのマーカ１７ａ〜１７ｄのＰＣ画面上での座標値は既知であるので、これらの座標（ＰＣ画面の座標系）をｘ１，Ｘ２，ｘ３，ｘ４とすると、対応点が４点あるので、マーカ画像の任意の座標ベクトルｕをＰＣ画面の座標系の座標ベクトルｘに変換する２次元の線形変換Ｈｕｘを求めることができる。 That is, the position coordinate vectors (marker image coordinate system) of the four markers 17a to 17d obtained from the marker image are u1, u2, u3, and u4. Since the coordinate values of these markers 17a to 17d on the PC screen are known, if these coordinates (PC screen coordinate system) are x1, X2, x3 and x4, there are four corresponding points. A two-dimensional linear transformation H ux that transforms an arbitrary coordinate vector u of the image into a coordinate vector x in the coordinate system of the PC screen can be obtained.

次に、前記ステップＳ３０２で求めた特徴点の対応により、マーカ画像の特徴点の座標ベクトル（マーカ画像の座標系）をｆ１，ｆ２，ｆ３，…，ｆｎとし、現在の入力画像の対応する特徴点の座標ベクトル（画像１の座標系）をｇ１，ｇ２，ｇ３，…，ｇｎとする。これらの対応から、画像１からマーカ画像への線形変換Ｈｇｆを最小２乗法で求めることができる。 Next, based on the correspondence of the feature points obtained in step S302, the coordinate vector (marker image coordinate system) of the feature points of the marker image is set to f1, f2, f3,. The coordinate vector of the point (the coordinate system of the image 1) is g1, g2, g3,. From these correspondences, the linear transformation H gf from the image 1 to the marker image can be obtained by the least square method.

ここで、現在のポインティング装置１１が指し示している方向は画像１の中心点である。画像１の中心点の座標（画像１の座標系）をｙとすると、この座標から線形変換Ｈｇｆを行うと、マーカ画像での対応座標ｕｙが求まる。 Here, the direction indicated by the current pointing device 11 is the center point of the image 1. Assuming that the coordinate of the center point of image 1 (the coordinate system of image 1) is y, the corresponding coordinate u y in the marker image is obtained by performing linear transformation Hgf from this coordinate.

ｕｙ＝Ｈｇｆ・ｙ
さらに、マーカ画像の座標値ｕｙを線形変換Ｈｕｘで変換すると、ＰＣ画面の座標系の座標値ｘｙ＝Ｈ・ｙに変換することができる。 u y = H gf · y
Furthermore, when the coordinate value u y of the marker image is converted by the linear conversion H ux , the coordinate value x y = H · y of the coordinate system of the PC screen can be converted.

ｘｙ＝Ｈｕｘ・ｕｙ
これが求めるポインティング位置Ｐの座標になる。 x y = H ux · u y
This is the coordinate of the desired pointing position P.

以上の例は２次元モデルを用いた場合であるが、３次元モデルを用いても可能である。この場合は、対応点などの数が増やさなければならないが、前記同様の手法を用いることができる。   The above example is a case where a two-dimensional model is used, but it is also possible to use a three-dimensional model. In this case, the number of corresponding points must be increased, but the same method as described above can be used.

画像処理装置２４は、このようにして求めたポインティング位置Ｐの座標をポインティングレジスタに保存し（ステップＳ３０６）、処理結果レジスタに処理が成功したことを記録する（ステップＳ３０７）。   The image processing device 24 stores the coordinates of the pointing position P thus obtained in the pointing register (step S306), and records that the processing is successful in the processing result register (step S307).

一方、対応点が少なく、精度の高い座標が計算できない場合には（ステップＳ３０４のＮｏ）、画像処理装置２４は処理結果レジスタに処理が失敗したことを記録する（ステップＳ３０８）。   On the other hand, when the number of corresponding points is small and high-precision coordinates cannot be calculated (No in step S304), the image processing device 24 records that the processing has failed in the processing result register (step S308).

以上のように、本実施形態によれば、キャリブレーションモード時にマーカを表示して位置検出用の画像を登録した後は、そのマーカを表示しなくとも、ポインティング位置Ｐを求めることができる。したがって、ユーザはマーカに煩わされることなく、投影画像上の任意の位置をポインティング操作することができる。   As described above, according to the present embodiment, after the marker is displayed and the position detection image is registered in the calibration mode, the pointing position P can be obtained without displaying the marker. Therefore, the user can perform a pointing operation at an arbitrary position on the projection image without being bothered by the marker.

また、投影画像の周囲の画像に着目して画像間の対応付けを行うことで、例えばスクリーン上に表示されたＰＣ画面の投影画像が不鮮明で、その投影画像から四隅の特徴点を抽出できないような環境下であっても、ポインティング位置Ｐを正確に検出することができる。   Also, by focusing on the surrounding images of the projected image, the images are associated with each other so that, for example, the projected image of the PC screen displayed on the screen is unclear and the feature points at the four corners cannot be extracted from the projected image. Even under a difficult environment, the pointing position P can be accurately detected.

また、ポインティング装置１１が投影画像を正しく認識できているか否かが表示されるので、ユーザはその表示を見ながら、ポインティング装置１１を投影画像に正しく向けて操作することができる。   Further, since it is displayed whether or not the pointing device 11 can correctly recognize the projection image, the user can operate the pointing device 11 so as to correctly point the projection image while viewing the display.

なお、前記実施形態では、特定のボタン操作（キャリブレーションボタン２７ｂ）によってキャリブレーションモードを再設定するものとしたが（図４のステップＳ０９参照）、ポインティング装置１１の向きが悪いなどの理由でポインティング位置Ｐを検出できなかった場合に、自動的にキャリブレーションモードを再設定して登録動作をやり直すような構成にしても良い。これは、画像処理装置２４によってポインティング位置Ｐを検出できなかった場合に、その旨のエラー信号をＣＰＵ２５に入力することで実現できる。   In the above-described embodiment, the calibration mode is reset by a specific button operation (calibration button 27b) (see step S09 in FIG. 4). However, the pointing device 11 has a bad orientation or the like. If the position P cannot be detected, the calibration mode may be automatically reset and the registration operation may be performed again. This can be realized by inputting an error signal to that effect to the CPU 25 when the pointing position P cannot be detected by the image processing device 24.

また、投影領域検出表示部２９としては、ＬＥＤ等の発光体に限らない。例えばＬＣＤ（Liquid Crystal Display）を用いて、その画面上に投影画像の認識状態を示すメッセージを表示するようにして良い。   Further, the projection area detection display unit 29 is not limited to a light emitter such as an LED. For example, a message indicating the recognition state of the projected image may be displayed on the screen using an LCD (Liquid Crystal Display).

また、画像処理装置２４にて実現される各機能をＣＰＵ２５に持たせて、ＣＰＵ２５にてすべての処理を行うような構成にしても良い。   Alternatively, the CPU 25 may be configured to perform all processing by providing each function realized by the image processing device 24 to the CPU 25.

さらに、前記実施形態では、画面の四隅にマーカ１７ａ〜１７ｄを配置したが、図８（ａ），（ｂ）に示すような配置でも良い。この場合、表示領域の周辺部分に、重心がずれないように点対称で四箇所に配置すれば、前記実施形態に示したアルゴリズムおよび計算方法をそのまま使える。また、重心計算に関する部分を若干変更すれば、マーカ１７ａ〜１７ｄが点対称でなくとも本発明は実施可能である。   Furthermore, in the said embodiment, although the markers 17a-17d were arrange | positioned at the four corners of a screen, arrangement | positioning as shown to Fig.8 (a), (b) may be sufficient. In this case, the algorithm and the calculation method shown in the above embodiment can be used as they are if they are arranged at four positions in a point symmetry so that the center of gravity does not shift in the peripheral portion of the display area. Further, if the portion related to the center of gravity calculation is slightly changed, the present invention can be implemented even if the markers 17a to 17d are not point-symmetric.

要するに、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。   In short, the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.

図１は本発明の一実施形態に係るポインティング装置を用いた投影システムの構成を示す図である。FIG. 1 is a diagram showing a configuration of a projection system using a pointing device according to an embodiment of the present invention. 図２は同実施形態におけるＰＣ画面に表示させるマーカの一例を示す図である。FIG. 2 is a diagram illustrating an example of a marker displayed on the PC screen in the embodiment. 図３は同実施形態におけるポインティング装置の構成を示すブロック図である。FIG. 3 is a block diagram showing the configuration of the pointing device in the embodiment. 図４は同実施形態におけるポインティング装置の処理動作を示すフローチャートである。FIG. 4 is a flowchart showing the processing operation of the pointing device in the embodiment. 図５は同実施形態におけるポインティング装置の画像処理装置によって実行される投影領域登録処理の詳細を示すフローチャートである。FIG. 5 is a flowchart showing details of the projection area registration process executed by the image processing apparatus of the pointing apparatus according to the embodiment. 図６は同実施形態におけるポインティング装置の画像処理装置によって実行されるポインティング位置計算処理の詳細を示すフローチャートである。FIG. 6 is a flowchart showing details of a pointing position calculation process executed by the image processing apparatus of the pointing apparatus according to the embodiment. 図７は同実施形態におけるポインティング装置のマーカ画像の登録条件を説明するための図である。FIG. 7 is a diagram for explaining registration conditions for a marker image of the pointing device according to the embodiment. 図８は同実施形態におけるＰＣ画面に表示させるマーカの他の配置例を示す図である。FIG. 8 is a diagram showing another arrangement example of the markers displayed on the PC screen in the same embodiment.

符号の説明Explanation of symbols

１０…カメラ、１１…ポインティング装置、１２…プロジェクタ、１３…ＰＣ、１４…通信ケーブル、１５…スクリーン、１６…投影領域、１７ａ〜１７ｄ…マーカ、２１…光学レンズ装置、２２…イメージセンサ、２３…メモリ、２４…画像処理装置、２５…ＣＰＵ、２６…プログラムコード記憶装置、２７…操作部、２８…コンピュータインタフェース部、２９…投影領域検出表示部。   DESCRIPTION OF SYMBOLS 10 ... Camera, 11 ... Pointing device, 12 ... Projector, 13 ... PC, 14 ... Communication cable, 15 ... Screen, 16 ... Projection area, 17a-17d ... Marker, 21 ... Optical lens apparatus, 22 ... Image sensor, 23 ... Memory 24... Image processing device 25. CPU 26 Program code storage device 27 Operation unit 28 Computer interface unit 29 Projection area detection display unit

Claims (9)

スクリーン上に投影された画像の任意の位置をポインティングするポインティング装置において、
特定のモードを設定するモード設定手段と、
このモード設定手段によって前記特定のモードが設定されたときのみ、前記スクリーン上の投影画像の四箇所にマーカを表示させるマーカ表示手段と、
このマーカ表示手段によって表示されたマーカ付きの投影画像をその周辺画像を含めて撮影した第１の画像を取得する第１の画像取得手段と、
前記第１の画像に含まれる前記周辺画像から特徴点を抽出する第１の特徴点抽出手段と、
通常のモードにおいて、前記スクリーン上の投影画像をその周辺画像を含めて撮影した第２の画像を取得する第２の画像取得手段と、
前記第２の画像に含まれる前記周辺画像から特徴点を抽出する第２の特徴点抽出手段と、
前記第１の画像上の前記各マーカの位置と、前記第１の特徴点抽出手段によって抽出された特徴点と前記第２の特徴点抽出手段によって抽出された特徴点との対応関係に基づいて、現在のポインティング位置を検出する位置検出手段と
を具備したことを特徴とするポインティング装置。 In a pointing device for pointing an arbitrary position of an image projected on a screen,
Mode setting means for setting a specific mode;
Marker display means for displaying markers at four locations of the projected image on the screen only when the specific mode is set by the mode setting means,
First image acquisition means for acquiring a first image obtained by photographing the projected image with a marker displayed by the marker display means including its peripheral image;
First feature point extracting means for extracting feature points from the peripheral image included in the first image;
In a normal mode, a second image acquisition means for acquiring a second image obtained by capturing the projected image on the screen including its peripheral image;
Second feature point extracting means for extracting feature points from the peripheral image included in the second image;
Based on the correspondence between the position of each marker on the first image, the feature point extracted by the first feature point extraction means, and the feature point extracted by the second feature point extraction means. And a position detecting means for detecting a current pointing position. 前記モード設定手段は、本装置の電源投入直後に前記特定のモードを設定することを特徴とする請求項１記載のポインティング装置。   2. The pointing device according to claim 1, wherein the mode setting means sets the specific mode immediately after the power of the apparatus is turned on. 前記特定のモードを任意に設定するための操作手段を備え、
前記モード設定手段は、前記操作手段が操作されたときに前記特定のモードを設定することを特徴とする請求項１記載のポインティング装置。 Comprising an operation means for arbitrarily setting the specific mode;
The pointing device according to claim 1, wherein the mode setting unit sets the specific mode when the operation unit is operated. 前記モード設定手段は、前記位置検出手段によってポインティング位置を検出できなかった場合に前記特定のモードを設定することを特徴とする請求項１記載のポインティング装置。   2. The pointing device according to claim 1, wherein the mode setting unit sets the specific mode when the pointing position cannot be detected by the position detection unit. 前記第１の画像取得手段によって得られた第１の画像上の前記各マーカの位置が所定の条件を満たす場合に当該画像が位置検出用として適切な画像であると判定する位置検出用画像判定手段をさらに備えることを特徴とする請求項１記載のポインティング装置。   Position detection image determination that determines that the image is an appropriate image for position detection when the position of each marker on the first image obtained by the first image acquisition means satisfies a predetermined condition. The pointing device according to claim 1, further comprising means. 前記所定の条件は、前記各マーカの重心が当該画像の中心付近にあり、かつ、前記各マーカのそれぞれが当該画像の外側付近にないことであることを特徴とする請求項５記載のポインティング装置。   6. The pointing device according to claim 5, wherein the predetermined condition is that the center of gravity of each marker is near the center of the image, and each of the markers is not near the outside of the image. . 前記位置検出用画像判定手段による判定結果に基づいて、前記スクリーン上の投影画像を正しく認識できているか否かを表示する表示手段をさらに具備したことを特徴とする請求項５記載のポインティング装置。   6. The pointing device according to claim 5, further comprising display means for displaying whether or not the projected image on the screen is correctly recognized based on a determination result by the position detection image determination means. スクリーン上に投影された画像をポインティングしている位置を検出するポインティング位置検出方法において、
特定のモードを設定するステップと、
前記特定のモードが設定されたときのみ、前記スクリーン上の投影画像の四箇所にマーカを表示させるステップと、
マーカ付きの投影画像をその周辺画像を含めて撮影した第１の画像を取得するステップと、
前記第１の画像に含まれる前記周辺画像から特徴点を抽出するステップと、
通常のモードにおいて、前記スクリーン上の投影画像をその周辺画像を含めて撮影した第２の画像を取得するステップと、
前記第２の画像に含まれる前記周辺画像から特徴点を抽出するステップと、
前記第１の画像上の前記各マーカの位置と、前記第１の画像から抽出された特徴点と前記第２の画像から抽出された特徴点との対応関係に基づいて、現在のポインティング位置を検出するステップと
を備えたことを特徴とするポインティング位置検出方法。 In a pointing position detection method for detecting a position where an image projected on a screen is pointing,
Setting a specific mode;
Only when the specific mode is set, displaying markers at four locations on the projected image on the screen;
Obtaining a first image obtained by photographing a projected image with a marker including its peripheral image;
Extracting feature points from the surrounding image included in the first image;
In a normal mode, obtaining a second image obtained by photographing the projected image on the screen including its peripheral image;
Extracting feature points from the surrounding image included in the second image;
Based on the correspondence between the position of each marker on the first image and the feature point extracted from the first image and the feature point extracted from the second image, the current pointing position is determined. And a step of detecting the pointing position detecting method. コンピュータによって読み取られ、スクリーン上に投影された画像をポインティングしている位置を検出するプログラムであって、
前記コンピュータに、
特定のモードを設定する機能と、
前記特定のモードが設定されたときのみ、前記スクリーン上の投影画像の四箇所にマーカを表示させる機能と、
マーカ付きの投影画像をその周辺画像を含めて撮影した第１の画像を取得する機能と、
前記第１の画像に含まれる前記周辺画像から特徴点を抽出する機能と、
通常のモードにおいて、前記スクリーン上の投影画像をその周辺画像を含めて撮影した第２の画像を取得する機能と、
前記第２の画像に含まれる前記周辺画像から特徴点を抽出する機能と、
前記第１の画像上の前記各マーカの位置と、前記第１の画像から抽出された特徴点と前記第２の画像から抽出された特徴点との対応関係に基づいて、現在のポインティング位置を検出する機能と
を実現させることを特徴とするプログラム。 A program for detecting a position where an image read by a computer and projected on a screen is pointing,
In the computer,
The ability to set a specific mode,
Only when the specific mode is set, a function of displaying markers in four locations of the projected image on the screen;
A function of acquiring a first image obtained by photographing a projected image with a marker including its peripheral image;
A function of extracting feature points from the peripheral image included in the first image;
In a normal mode, a function of acquiring a second image obtained by capturing the projected image on the screen including its peripheral image;
A function of extracting feature points from the peripheral image included in the second image;
Based on the correspondence between the position of each marker on the first image and the feature point extracted from the first image and the feature point extracted from the second image, the current pointing position is determined. A program characterized by realizing a detection function.
JP2006171760A 2006-06-21 2006-06-21 Pointing device, pointing position detection method, and program Expired - Fee Related JP4710734B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006171760A JP4710734B2 (en) 2006-06-21 2006-06-21 Pointing device, pointing position detection method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006171760A JP4710734B2 (en) 2006-06-21 2006-06-21 Pointing device, pointing position detection method, and program

Publications (2)

Publication Number Publication Date
JP2008003802A JP2008003802A (en) 2008-01-10
JP4710734B2 true JP4710734B2 (en) 2011-06-29

Family

ID=39008138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006171760A Expired - Fee Related JP4710734B2 (en) 2006-06-21 2006-06-21 Pointing device, pointing position detection method, and program

Country Status (1)

Country Link
JP (1) JP4710734B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9229585B2 (en) 2013-02-08 2016-01-05 Ricoh Company, Limited Projection system, image generating method, and computer-readable storage medium
KR101810653B1 (en) 2017-05-11 2017-12-21 (주)피플리 Method and apparatus for correction of location of projection image

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8144123B2 (en) * 2007-08-14 2012-03-27 Fuji Xerox Co., Ltd. Dynamically controlling a cursor on a screen when using a video camera as a pointing device
JP5408175B2 (en) 2011-03-31 2014-02-05 カシオ計算機株式会社 Projection apparatus, projection method, and program
JP5849560B2 (en) 2011-09-20 2016-01-27 セイコーエプソン株式会社 Display device, projector, and display method
JP5927845B2 (en) 2011-11-01 2016-06-01 セイコーエプソン株式会社 Display device, display device control method, and program
US9600091B2 (en) 2012-01-05 2017-03-21 Seiko Epson Corporation Display device and display control method
JP5979972B2 (en) * 2012-05-17 2016-08-31 協立化学産業株式会社 Esterified epoxy resin, method for producing the same, and curable composition containing the same
JP6065433B2 (en) * 2012-07-12 2017-01-25 株式会社リコー Projection apparatus, projection system, and program
US9904414B2 (en) 2012-12-10 2018-02-27 Seiko Epson Corporation Display device, and method of controlling display device
US9645678B2 (en) 2012-12-18 2017-05-09 Seiko Epson Corporation Display device, and method of controlling display device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0580925A (en) * 1991-09-19 1993-04-02 Hitachi Ltd Pointing device for large-screen display
JP2002215321A (en) * 2001-01-19 2002-08-02 Nissan Motor Co Ltd Indicating image control device
JP2004139206A (en) * 2002-10-16 2004-05-13 Nikon Gijutsu Kobo:Kk Image display/shooting system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0580925A (en) * 1991-09-19 1993-04-02 Hitachi Ltd Pointing device for large-screen display
JP2002215321A (en) * 2001-01-19 2002-08-02 Nissan Motor Co Ltd Indicating image control device
JP2004139206A (en) * 2002-10-16 2004-05-13 Nikon Gijutsu Kobo:Kk Image display/shooting system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9229585B2 (en) 2013-02-08 2016-01-05 Ricoh Company, Limited Projection system, image generating method, and computer-readable storage medium
KR101810653B1 (en) 2017-05-11 2017-12-21 (주)피플리 Method and apparatus for correction of location of projection image

Also Published As

Publication number Publication date
JP2008003802A (en) 2008-01-10

Similar Documents

Publication Publication Date Title
JP4710734B2 (en) Pointing device, pointing position detection method, and program
US10026207B2 (en) Image display device, image display method and storage medium
JP2004318823A (en) Information display system, information processing apparatus, pointing device and pointer mark displaying method in information display system
JP5970879B2 (en) Projection system, projection method, program, and recording medium
JP6232730B2 (en) Projector and control method
JP2013061552A (en) Projector device and operation detection method
JP2001325069A (en) Device and method for detecting position
CN111614947A (en) Display method and display system
JP2018205506A (en) Projection device, control method thereof, and program
JP2016139334A (en) Information processing apparatus, information processing method, and computer program
JP6422118B2 (en) Display system, information processing apparatus, and display method
US10341627B2 (en) Single-handed floating display with selectable content
JP2018132799A (en) Electronic blackboard system, electronic pen, display device and electronic pen position detection method
JP6253128B2 (en) Display system, input device, display device, and display method
JP2015215720A (en) Image display/photography system, photographing device, display device, method for displaying and photographing image, and computer program
JP2016184362A (en) Input device, input operation detection method, and input operation detection computer program
JP2001148025A (en) Device and method for detecting position, and device and method for detecting plane posture
JP2000259338A (en) Input system, display system, presentation system and information storage medium
US11991481B2 (en) Display method, information processing device, and non-transitory computer-readable storage medium storing program
JP2011112379A (en) Image processing device and image processing program
JP6237028B2 (en) Projection apparatus, projection method, and information processing system
JP6427888B2 (en) Image display system, image display apparatus, and image display method
JP2017009664A (en) Image projection device, and interactive type input/output system
JP2008135996A (en) Information processing method and information processor
JP4478047B2 (en) Information presentation apparatus, information presentation method, and program thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110307

R150 Certificate of patent or registration of utility model

Ref document number: 4710734

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees