JP2006121290A

JP2006121290A - Camera control system

Info

Publication number: JP2006121290A
Application number: JP2004305584A
Authority: JP
Inventors: Hiroyuki Miyake; 弘之三宅; Yoshinori Yamaguchi; 義紀山口; Yasuji Seko; 保次瀬古
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2004-10-20
Filing date: 2004-10-20
Publication date: 2006-05-11

Abstract

<P>PROBLEM TO BE SOLVED: To provide a camera control system that intuitively controls a camera, such as a PTZ camera, whose photography direction is controlled. <P>SOLUTION: This camera control system comprises: a pointer 1 equipped with a light source which emits laser light, and an optical lens system which forms a concentric interference pattern on an object with laser beams passing through different optical paths; a detecting device 2 which detects the interference pattern; the camera 3, such as the PTZ camera, whose photography direction is controllable; and a PC 4 which calculates the center coordinates of the concentric interference pattern on the basis of a detection signal from the detecting device 2, decides the center coordinates as intersection coordinates of the optical axis of the pointer 1 and the object 5, and outputs a control signal for directing the photography direction of the camera 3 to the intersection coordinates. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明はテレビ会議や監視システム等で用いるカメラの撮影方向を制御することができるカメラ制御システムに係り、特にカメラの撮影方向をポインタを用いて直感的に制御することができるカメラ制御システムに関するものである。 The present invention relates to a camera control system capable of controlling the shooting direction of a camera used in a video conference or a surveillance system, and more particularly to a camera control system capable of intuitively controlling the shooting direction of a camera using a pointer. It is.

従来からテレビ会議には、ローカルおよびリモートのそれぞれの側に出席者や資料などを映し出すカメラが備えられている。通常、このようなテレビ会議や会議キャプチャに用いられるカメラは、いわゆるパンチルトズーム（ＰＴＺ）カメラである。従来、テレビ会議等では、例えば、ＰＴＺカメラによるカメラ画像をモニターで見ながらパーソナルコンピュータ（ＰＣ）経由のマウス（ローカル環境およびリモート環境）や独自のリモコン（ローカル環境）などを用いて、ＰＴＺカメラのパン、チルト、あるいはズームなどの制御を行っていた。 Traditionally, video conferencing has been equipped with cameras that show attendees and documents on both the local and remote sides. Usually, a camera used for such a video conference or conference capture is a so-called pan tilt zoom (PTZ) camera. 2. Description of the Related Art Conventionally, in video conferences and the like, for example, using a mouse (local environment and remote environment) via a personal computer (PC) or a unique remote controller (local environment) while viewing a camera image from the PTZ camera on a monitor, Controls such as pan, tilt, or zoom were performed.

この種のカメラの制御に関しては従来から各種の制御システムが提案されている。例えば、特開２０００−３２３１９号公報には、ＴＶ会議や遠隔監視などの際に、利用者の希望するカメラ姿勢等を簡単かつ瞬時に指示できるようにするカメラ制御システムが提案されている。また、特開２００１−１４５０９４号公報には、カメラの所望の動作状態に迅速に制御できるようにするカメラ制御システムが提案されている。さらに、特開２００４−０６４７８４号公報には、複数のユーザが、ＰＴＺカメラによって提供されるビューなどの個人用のカメラビューを選択することを可能とするビデオを提供するシステムが提案されている。
特開２０００−３２３１９号公報特開２００１−１４５０９４号公報特開２００４−６４７８４号公報 Various control systems have been proposed for controlling this type of camera. For example, Japanese Patent Application Laid-Open No. 2000-32319 proposes a camera control system that can easily and instantaneously indicate a camera posture or the like desired by a user during a TV conference or remote monitoring. Japanese Patent Laid-Open No. 2001-145094 proposes a camera control system that enables quick control to a desired operating state of the camera. Furthermore, Japanese Patent Application Laid-Open No. 2004-064784 proposes a system that provides a video that allows a plurality of users to select a personal camera view such as a view provided by a PTZ camera.
JP 2000-32319 A JP 2001-145094 A JP 2004-64784 A

しかしながら、従来のカメラ制御システムは、テレビ会議などのディスプレイ上の画像を見ながらリモコンやＰＣの画面上のマウス操作などによりＰＴＺカメラを操作するものであり、この種のカメラに対して直感的な操作ができないという問題があった。 However, conventional camera control systems operate a PTZ camera by operating a mouse on a remote control or a PC screen while viewing an image on a display such as a video conference, and are intuitive for this type of camera. There was a problem that operation was impossible.

従って本発明の目的は、ＰＴＺカメラなど撮影方向が制御可能なカメラを直感的に制御することができるカメラ制御システムを提供することにある。 Accordingly, an object of the present invention is to provide a camera control system capable of intuitively controlling a camera such as a PTZ camera that can control the photographing direction.

上記目的は、指示する対象物上の指示軸との交点座標が検出可能なポインタ（方向指示装置）と、撮影方向が制御可能なカメラとを備え、前記交点座標に前記カメラの撮影方向を向けるように前記カメラを制御するカメラ制御システムにより、達成される。また、上記目的は、対象物上に同心円状の模様を形成する手段を備えたポインタと、前記同心円状の模様を検出する検出装置と、撮影方向が制御可能なカメラとを備え、前記検出装置からの検出信号に基いて前記同心円状の干渉模様の中心座標を算出し、前記中心座標を前記ポインタの指示軸と前記対象物との交点座標とし、前記交点座標に前記カメラの撮影方向を向けるように前記カメラを制御するカメラ制御システムにより、達成される。前記同心円状の模様は例えば光などの干渉により形成することができる。前記ポインタは、レーザ光を放射する光源および異なる光路を通過する前記レーザ光により対象物上に同心円状の干渉模様を形成する光学レンズ系を備えることができる。 The object includes a pointer (direction indicating device) capable of detecting an intersection point coordinate with an indication axis on an object to be indicated, and a camera capable of controlling a photographing direction, and directs the photographing direction of the camera to the intersection point coordinate. This is achieved by a camera control system for controlling the camera. In addition, the object is provided with a pointer having means for forming a concentric pattern on an object, a detection device for detecting the concentric pattern, and a camera capable of controlling a photographing direction, and the detection device. The center coordinates of the concentric interference pattern are calculated based on the detection signal from the center, the center coordinates are set as the intersection coordinates of the pointer pointing axis and the object, and the photographing direction of the camera is directed to the intersection coordinates. This is achieved by a camera control system for controlling the camera. The concentric pattern can be formed by interference of light or the like, for example. The pointer may include a light source that emits laser light and an optical lens system that forms a concentric interference pattern on an object by the laser light passing through different optical paths.

ここで、前記ポインタから前記交点座標までの距離を記憶し、前記ポインタが別途向けられたポインタ光軸上の前記記憶した距離における距離座標を算出し、前記距離座標に前記カメラの撮影方向を向けるように前記カメラを制御することができる。また、前記カメラが複数備えられ、前記交点座標に前記複数のカメラの撮影方向を向けるように前記複数のカメラを制御することができる。さらに、前記カメラを２台備え、前記交点座標に前記２台のカメラの撮影方向を向けるように制御し、前記２台のカメラによる２つのカメラ画像からそれぞれ特徴点を抽出し、前記２つのカメラ画像で特徴点分布の近い領域を選択し、前記選択領域がカメラ画像の中心に来るように前記２台のカメラの撮影方向を調整することができる。前記カメラは、例えばパンチルトズーム（ＰＴＺ）カメラとすることができる。 Here, the distance from the pointer to the intersection coordinate is stored, the distance coordinate at the stored distance on the pointer optical axis to which the pointer is separately directed is calculated, and the shooting direction of the camera is directed to the distance coordinate. The camera can be controlled as described above. A plurality of the cameras are provided, and the plurality of cameras can be controlled so that the shooting directions of the plurality of cameras are directed to the intersection coordinates. Further, two cameras are provided, control is performed so that the shooting directions of the two cameras are directed to the intersection coordinates, and feature points are extracted from two camera images of the two cameras, respectively, and the two cameras It is possible to select an area having a feature point distribution close to the image and adjust the shooting directions of the two cameras so that the selected area is at the center of the camera image. The camera may be, for example, a pan / tilt / zoom (PTZ) camera.

また、本発明に係るカメラ制御システムは、レーザ光を放射する光源および異なる光路を通過する前記レーザ光により対象物上に同心円状の干渉模様を形成する光学レンズ系を備えたポインタと、前記干渉模様を検出する検出装置と、撮影方向が制御可能なカメラと、前記検出装置からの検出信号に基いて前記同心円状の干渉模様の中心座標を算出し、前記中心座標を前記ポインタの光軸と前記対象物との交点座標とし、前記交点座標に前記カメラの撮影方向を向けるための制御信号を前記カメラに出力する演算制御装置とを備えたものである。 The camera control system according to the present invention includes a pointer including a light source that emits laser light and an optical lens system that forms a concentric interference pattern on an object by the laser light passing through different optical paths, and the interference A detection device for detecting a pattern; a camera capable of controlling a shooting direction; and calculating center coordinates of the concentric interference pattern on the basis of a detection signal from the detection device; and the center coordinates as an optical axis of the pointer And an arithmetic control unit that outputs a control signal to the camera as an intersection coordinate with the object and directing the shooting direction of the camera to the intersection coordinate.

さらに、本発明に係るカメラ制御システムは、レーザ光を放射する光源および異なる光路を通過する前記レーザ光により対象物上に同心円状の干渉模様を形成する光学レンズ系を備えたポインタと、前記干渉模様を検出する検出装置と、撮影方向が制御可能なカメラと、前記検出装置からの検出信号に基いて前記同心円状の干渉模様の中心座標を算出し、前記中心座標を前記ポインタの光軸と前記対象物との交点座標とし、前記ポインタから前記交点座標までの距離を記憶し、前記交点座標に前記カメラの撮影方向を向けるための制御信号を前記カメラに出力し、その後前記ポインタが向けられたポインタ光軸上の前記記憶した距離における距離座標を算出し、前記距離座標に前記カメラの撮影方向を向けるための制御信号を前記カメラに出力する演算制御記憶装置とを備えたものである。 Furthermore, the camera control system according to the present invention includes a light source that emits laser light and a pointer including an optical lens system that forms a concentric interference pattern on an object by the laser light passing through different optical paths, and the interference A detection device for detecting a pattern; a camera capable of controlling a shooting direction; and calculating center coordinates of the concentric interference pattern on the basis of a detection signal from the detection device; and the center coordinates as an optical axis of the pointer Stores the distance from the pointer to the intersection coordinates as the intersection coordinates with the object, outputs a control signal to the camera to direct the shooting direction of the camera to the intersection coordinates, and then the pointer is directed The distance coordinate at the stored distance on the pointer optical axis is calculated, and a control signal for directing the shooting direction of the camera to the distance coordinate is output to the camera. It is obtained by an arithmetic control store for.

また、本発明に係るカメラ制御システムは、赤外線レーザ光を放射する第１光源、可視レーザ光を放射する第２光源、および異なる光路を通過する前記赤外線レーザ光により対象物上に同心円状の干渉模様を形成する光学レンズ系を備えたポインタと、前記干渉模様を検出する検出装置と、撮影方向が制御可能なカメラと、前記検出装置からの検出信号に基いて前記同心円状の干渉模様の中心座標を算出し、前記中心座標を前記ポインタの光軸と前記対象物との交点座標とし、前記ポインタから前記交点座標までの距離を記憶し、前記可視レーザ光により対象物上に形成された光点に前記カメラの撮影方向を向けるための制御信号を前記カメラに出力し、その後前記ポインタが向けられたポインタ光軸上の前記記憶した距離における距離座標を算出し、前記距離座標に前記カメラの撮影方向を向けるための制御信号を前記カメラに出力する演算制御記憶装置とを備えたものである。 The camera control system according to the present invention includes a first light source that emits infrared laser light, a second light source that emits visible laser light, and concentric interference on an object by the infrared laser light that passes through different optical paths. A pointer provided with an optical lens system for forming a pattern, a detection device for detecting the interference pattern, a camera capable of controlling the photographing direction, and the center of the concentric interference pattern based on a detection signal from the detection device The coordinates are calculated, the center coordinates are the intersection coordinates of the optical axis of the pointer and the object, the distance from the pointer to the intersection coordinates is stored, and the light formed on the object by the visible laser beam Distance coordinates at the stored distance on the pointer optical axis to which a control signal for directing the shooting direction of the camera to a point is output to the camera and then the pointer is directed Calculated, in which the control signals for directing the imaging direction of the camera on the distance coordinate and a calculation control store to be output to the camera.

さらに、本発明に係るカメラ制御システムは、レーザ光を放射する光源および異なる光路を通過する前記レーザ光により対象物上に同心円状の干渉模様を形成する光学レンズ系を備えたポインタと、前記干渉模様を検出する検出装置と、撮影方向が制御可能な２台のカメラと、前記検出装置からの検出信号に基いて前記同心円状の干渉模様の中心座標を算出し、前記中心座標を前記ポインタの光軸と前記対象物との交点座標とし、前記交点座標に前記２台のカメラの撮影方向を向けるための制御信号を前記２台のカメラに出力し、かつ前記２台のカメラによる２つのカメラ画像からそれぞれ特徴点を抽出し、前記２つのカメラ画像で特徴点分布の近い領域を選択し、前記選択領域がカメラ画像の中心に来るように前記２台のカメラの撮影方向を調整するための調整信号を前記２台のカメラに出力する演算制御装置とを備えたものである。 Furthermore, the camera control system according to the present invention includes a light source that emits laser light and a pointer including an optical lens system that forms a concentric interference pattern on an object by the laser light passing through different optical paths, and the interference A detection device for detecting a pattern, two cameras capable of controlling a shooting direction, and center coordinates of the concentric interference pattern based on a detection signal from the detection device; Two cameras, which are the intersection coordinates of the optical axis and the object, output a control signal for directing the photographing direction of the two cameras to the intersection coordinates, and the two cameras. Extract feature points from the images, select a region with a close distribution of feature points in the two camera images, and capture directions of the two cameras so that the selected region is at the center of the camera image An adjustment signal for adjusting is obtained and an arithmetic control unit for outputting to the two cameras.

上記カメラ制御システムに用いるポインタは、レーザ光を放射する光源および異なる光路を通過する前記レーザ光により対象物上に同心円状の干渉模様を形成する光学レンズ系を備えた干渉模様発生装置と、前記干渉模様発生装置を制御するための制御回路、前記制御回路からの信号を送信するための通信回路を具備することができる。ここで、前記通信回路からの信号を無線で送信するためのアンテナを備えることができる。また、前記制御回路に複数のスイッチを接続することができ、そのうち第１のスイッチが前記干渉模様発生装置を作動させるものであり、第２のスイッチがマウス左クリックボタンの役割を果たすものであり、第３のスイッチがマウス右クリックボタンの役割を果たすものである。
また、本発明に係るポインタ装置は、撮影方向が制御可能なカメラに対し、該カメラの撮影方向を対象物に向ける指示をするものであって、前記カメラの撮影方向を前記対象物に向けるために該対象物に対して指示を与えるポインタと、前記ポインタの指示方向に沿った前記対象物に対する指示軸と該対象物の指示面との交点座標を前記カメラの撮影方向を示す制御情報として提供する提供手段とを備える。前記ポインタは前記対象物上に同心円状の模様を形成する同心円状模様発生手段を含むことができる。前記提供手段は、前記同心円状の模様を検出する検出手段と、前記検出手段からの検出信号に基いて前記同心円状の模様の中心座標を前記交点座標として算出する算出手段とを含むことができる。前記同心円状の模様は例えば光などの干渉により形成することができる。前記同心円状模様発生手段は、レーザ光を放射する光源および異なる光路を通過する前記レーザ光により対象物上に同心円状の干渉模様を形成する光学レンズ系を備えることができる。 The pointer used in the camera control system includes a light source that emits laser light and an interference pattern generation device that includes an optical lens system that forms a concentric interference pattern on an object by the laser light passing through different optical paths; A control circuit for controlling the interference pattern generator and a communication circuit for transmitting a signal from the control circuit can be provided. Here, an antenna for wirelessly transmitting a signal from the communication circuit can be provided. In addition, a plurality of switches can be connected to the control circuit, of which the first switch operates the interference pattern generator and the second switch functions as a mouse left click button. The third switch serves as a mouse right click button.
In addition, the pointer device according to the present invention instructs a camera whose shooting direction is controllable to direct the shooting direction of the camera toward the object, and directs the shooting direction of the camera toward the object. A pointer for giving an instruction to the object, and an intersection coordinate between an indication axis for the object along the indication direction of the pointer and the indication surface of the object is provided as control information indicating the shooting direction of the camera Providing means. The pointer may include concentric pattern generating means for forming a concentric pattern on the object. The providing unit may include a detecting unit that detects the concentric pattern, and a calculating unit that calculates center coordinates of the concentric pattern as the intersection coordinates based on a detection signal from the detecting unit. . The concentric pattern can be formed by interference of light or the like, for example. The concentric pattern generating means may include a light source that emits laser light and an optical lens system that forms a concentric interference pattern on the object by the laser light passing through different optical paths.

本発明によれば、ＰＴＺカメラなど撮影方向が制御可能なカメラを直感的に制御することができるカメラ制御システムを得ることができる。すなわち、従来はＰＴＺカメラの方向操作をリモコンやＰＣの画面上でマウス操作などにより操作することしか出来なかったが、本発明ではユーザーがポインタにより指し示す方向へＰＴＺカメラの撮影方向が自動的に向くように制御されるのでカメラを直感的に操作できるようになる。この場合、ポインタにスイッチを設け、スイッチによる切り替えで普段はプレゼンテーションポインタとして使用し、好きなときだけＰＴＺカメラの方向操作をすることが可能である。 ADVANTAGE OF THE INVENTION According to this invention, the camera control system which can control intuitively the camera which can control imaging | photography directions, such as a PTZ camera, can be obtained. That is, in the past, the direction operation of the PTZ camera could only be operated by a mouse operation or the like on the remote control or the PC screen. However, in the present invention, the shooting direction of the PTZ camera is automatically directed in the direction indicated by the pointer. Thus, the camera can be operated intuitively. In this case, a switch is provided on the pointer, and it is usually used as a presentation pointer by switching with the switch, and the direction operation of the PTZ camera can be operated only when desired.

（実施例１）
図１（ａ）、（ｂ）は、本発明に係るカメラ制御システムの一実施例を示す図である。本実施例は、後述するポインタでカメラを指示し、その後このポインタを対象物（ターゲット）に向けて指示し、これによりカメラの撮影方向を対象物の方向（座標）に動かすように制御するものである。本システムは、図示のように、レーザ光を放射する光源および異なる光路を通過するレーザ光により対象物５上に同心円状の干渉模様を形成する光学レンズ系を備えたポインタ１と、干渉模様を検出する検出装置２と、撮影方向が制御可能なカメラ３と、検出装置２からの検出信号に基いてカメラ３を制御するＰＣ（パソコン）４とを備える。 Example 1
FIGS. 1A and 1B are diagrams showing an embodiment of a camera control system according to the present invention. In this embodiment, the camera is pointed to with a pointer described later, and then the pointer is pointed toward the target (target), thereby controlling the shooting direction of the camera to the direction (coordinate) of the target. It is. As shown in the figure, this system includes a pointer 1 having a light source that emits laser light and an optical lens system that forms a concentric interference pattern on an object 5 by laser light passing through different optical paths, and an interference pattern. A detection device 2 for detecting, a camera 3 capable of controlling the shooting direction, and a PC (personal computer) 4 for controlling the camera 3 based on a detection signal from the detection device 2 are provided.

ポインタ１は、例えば赤外線レーザ光源および同心円状の干渉模様を生成するためのレンズを有するものであり、例えば特開２００４−２８９７７号公報に記載の技術を用いることができるが、詳細については後述する。ここで、同心円状の干渉模様とは、多重同心円だけでなく多重楕円の干渉模様も含むものである。検出装置２は、例えば会議室などのスクリーン脇に設けられる結像系を持たないＣＣＤなどの２次元受光センサ（２個で１セット）である。受光センサセットは室内各壁面に設置されることが望ましい。カメラ３は、会議の様子をモニタ撮影する例えばＰＴＺ（パン、チルト、ズーム）カメラであり、市販のものを使用することができる。ＰＣ４は、受光センサ（検出装置）の画像をモニタし画像処理を行うものであるが、具体的には、検出装置２からの検出信号に基いて同心円状の干渉模様の中心座標を算出し、この中心座標をポインタ１の光軸と対象物５との交点座標とし、この交点座標にＰＴＺカメラ３の撮影方向を向けるための制御信号をＰＴＺカメラ３に出力する。対象物５は例えばテレビ会議やプレゼンテーション用のスクリーンあるいはディスプレイなどとすることができる。図１におけるポインタ１の操作については後述する。 The pointer 1 has, for example, an infrared laser light source and a lens for generating a concentric interference pattern. For example, the technique described in Japanese Patent Application Laid-Open No. 2004-28977 can be used, and details will be described later. . Here, the concentric interference pattern includes not only multiple concentric circles but also multiple ellipse interference patterns. The detection device 2 is a two-dimensional light receiving sensor (two sets of two) such as a CCD that does not have an imaging system provided on the side of a screen such as a conference room. The light receiving sensor set is preferably installed on each wall surface in the room. The camera 3 is, for example, a PTZ (pan, tilt, zoom) camera that captures the state of the conference by monitoring, and a commercially available camera can be used. The PC 4 monitors the image of the light receiving sensor (detection device) and performs image processing. Specifically, the PC 4 calculates the center coordinates of the concentric interference pattern based on the detection signal from the detection device 2, and The central coordinates are set as the intersection coordinates of the optical axis of the pointer 1 and the object 5, and a control signal for directing the photographing direction of the PTZ camera 3 to the intersection coordinates is output to the PTZ camera 3. The object 5 can be, for example, a video conference or presentation screen or display. The operation of the pointer 1 in FIG. 1 will be described later.

図２は本発明で用いるポインタの一例を示す図であり、（ａ）は概略構成図、（ｂ）はブロック構成図である。図示のように、ポインタ１は干渉模様発生装置２２を有し、干渉模様発生装置２２はレーザ光を放射する光源２０および異なる光路を通過するレーザ光により前方に同心円状の干渉模様を形成する光学レンズ系２１を備える。ここで、光学レンズ系２１は、単体レンズ、複合レンズ、またはこれらとミラーとの組み合わせ等で構成することができる。その具体例については後述する。ポインタ１は、さらに干渉模様発生装置２２を制御するための制御回路２３、制御回路２３からの信号をアンテナ２４を介してＰＣ４に送信するための通信回路２５、およびこれらの構成部品に電力を供給する電源２６を備える。本例の通信回路２５はＢｌｕｅｔｏｏｔｈなど無線で行うものであるが、これに限定されず、例えばＵＳＢなど有線でＰＣ４と接続することができる。 2A and 2B are diagrams showing an example of a pointer used in the present invention. FIG. 2A is a schematic configuration diagram, and FIG. 2B is a block configuration diagram. As shown in the figure, the pointer 1 has an interference pattern generator 22, and the interference pattern generator 22 has a light source 20 that emits laser light and an optical that forms a concentric interference pattern forward by laser light passing through different optical paths. A lens system 21 is provided. Here, the optical lens system 21 can be configured by a single lens, a compound lens, or a combination of these and a mirror. Specific examples thereof will be described later. The pointer 1 further supplies power to a control circuit 23 for controlling the interference pattern generator 22, a communication circuit 25 for transmitting a signal from the control circuit 23 to the PC 4 via the antenna 24, and these components. Power supply 26 is provided. The communication circuit 25 of this example is wirelessly connected such as Bluetooth, but is not limited to this, and can be connected to the PC 4 by a wired connection such as USB.

また、ポインタ１にはＰＣのマウスボタンと同等の機能が付加される。本例では、制御回路２３に３つのスイッチＳＷ１，ＳＷ２，ＳＷ３が接続されている。ＳＷ１はレーザ光源２０のＯＮ／ＯＦＦボタン、ＳＷ２はマウス左クリックボタン、ＳＷ３はマウス右クリックボタンの役割を果たす。ＳＷ２とＳＷ３の状態は有線または無線でＰＣ４に伝送される。すなわち、ＳＷ１がＯＮになると干渉模様発生装置２２を作動させ、ＳＷ１がＯＦＦになると干渉模様発生装置２２の作動を止める。また、ＳＷ２がＯＮの間、マウス左クリック状態であることを通信回路２５へ通知し、ＳＷ３がＯＮの間、マウス右クリック状態であることを通信回路２５へ通知する。 The pointer 1 has the same function as a PC mouse button. In this example, three switches SW 1, SW 2, SW 3 are connected to the control circuit 23. SW1 serves as an ON / OFF button for the laser light source 20, SW2 serves as a mouse left click button, and SW3 serves as a mouse right click button. The states of SW2 and SW3 are transmitted to the PC 4 by wire or wireless. That is, when SW1 is turned on, the interference pattern generating device 22 is operated, and when SW1 is turned off, the operation of the interference pattern generating device 22 is stopped. In addition, while SW2 is ON, the communication circuit 25 is notified that the mouse is in the left click state, and while SW3 is ON, the communication circuit 25 is notified that the mouse is in the right click state.

ポインタ１のＳＷ１をＯＮにしてレーザを発光させ、受光部（検出装置）方向に向けるとポインタにあるレンズによって生成される円状の干渉模様が照射される。受光部のＣＣＤは円または楕円となった干渉模様の一部をモニタし、その画像をＰＣで処理すると干渉模様の円または楕円の中心座標が算出される。この算出処理に関しては後述する。この中心座標はポインタの光軸と対象物との交点座標であり、ポインタの指示する位置となる。またポインタの光軸方向も同時に算出可能である。ポインタの光軸算出に関しては、ポインタの指示座標のみを上記のように算出し、ポインタに発光手段などを設けて、その発光点の座標を他の位置検出手段でモニターしておき、２点からもとめても良い。 When the switch 1 of the pointer 1 is turned on to emit laser light and face the light receiving unit (detection device), a circular interference pattern generated by the lens on the pointer is emitted. The CCD of the light receiving unit monitors a part of the interference pattern that is a circle or an ellipse, and when the image is processed by the PC, the center coordinates of the circle or ellipse of the interference pattern are calculated. This calculation process will be described later. This central coordinate is the intersection coordinate between the optical axis of the pointer and the object, and is the position indicated by the pointer. Also, the optical axis direction of the pointer can be calculated simultaneously. Regarding the calculation of the optical axis of the pointer, only the indicated coordinates of the pointer are calculated as described above, and the pointer is provided with light emitting means, and the coordinates of the light emitting point are monitored by other position detecting means. You can ask for it.

次に、同心円または多重楕円の干渉模様の中心座標の算出方法について述べる。まず、図３〜図５を用いて同心円の干渉模様の中心座標の算出方法について述べ、続いて図６、図７を用いて多重楕円の干渉模様の中心座標の算出方法について述べる。
図３は、ディスプレイ上に干渉模様を形成し、ポインタの指示個所を検出する一例を示す図である。本例では、図示のように、ＣＣＤ受光素子３−５ａと３−５ｂと３−５ｃと３−５ｄを０．９ｍ角のディスプレイ１６の四隅に取り付けた。光源２０には波長７８０ｎｍの半導体レーザを使用した。干渉模様を形成する光学レンズ系２１には、図４（ｂ）に示すような屈折率１．６の円錐レンズ２ｃを用いた。円錐レンズ２ｃの円錐部の高さ２ｃ−ｈは１．１ｍｍ、円柱部２ｃ−ｄの厚さは１．９ｍｍとした。したがって、最大厚さは３ｍｍとなった。裏面は平面である。円錐レンズ２ｃの屈折率は１．６で、直径Φ４ｍｍとした。円錐レンズを用いた場合の干渉模様は図４（ａ）に示す光線軌跡から形成される。円錐レンズ２１の高さを工夫することで、レンズの上半分を通過した光と下半分を通過した光を図４（ａ）のように重ね合わせることができ、干渉模様を形成することができる。本例では光学レンズ系２１として円錐レンズを用いているが、これ以外のレンズを用いることもできる。 Next, a method for calculating the center coordinates of a concentric circle or multiple ellipse interference pattern will be described. First, the calculation method of the center coordinates of the concentric interference pattern will be described with reference to FIGS. 3 to 5, and the calculation method of the center coordinates of the interference pattern of the multiple ellipse will be described with reference to FIGS. 6 and 7.
FIG. 3 is a diagram illustrating an example in which an interference pattern is formed on the display and a pointer indication point is detected. In this example, as shown in the figure, CCD light receiving elements 3-5a, 3-5b, 3-5c, and 3-5d are attached to the four corners of a display 16 having a 0.9 m square. As the light source 20, a semiconductor laser having a wavelength of 780 nm was used. As the optical lens system 21 for forming the interference pattern, a conical lens 2c having a refractive index of 1.6 as shown in FIG. 4B was used. The height 2c-h of the conical part of the conical lens 2c was 1.1 mm, and the thickness of the cylindrical part 2c-d was 1.9 mm. Therefore, the maximum thickness was 3 mm. The back surface is flat. The refractive index of the conical lens 2c was 1.6, and the diameter was 4 mm. The interference pattern in the case of using a conical lens is formed from the ray trajectory shown in FIG. By devising the height of the conical lens 21, the light passing through the upper half of the lens and the light passing through the lower half can be superimposed as shown in FIG. 4A, and an interference pattern can be formed. . In this example, a conical lens is used as the optical lens system 21, but other lenses can also be used.

図４において、光源（半導体レーザ）２０からレンズ前面（円錐の頂点）までの距離は１０ｍｍとし、これを一体のケースに設置しポインタ１とした。ポインタ１から３ｍ離れたディスプレイ１６に垂直にレーザ光を照射した場合に形成された干渉縞５−５は整然とした同心円であった。この同心円の最外周の直径は約Φ１．０ｍであった。この中心付近の干渉模様を図５に示す。図５（ａ）は同心円の中心付近の干渉模様を示し、図５（ｂ）は最外周付近の干渉模様を示している。図５（ａ）の干渉模様のピッチは約０．６７ｍｍであり、図５（ｂ）のピッチは約０．６３ｍｍであった。ディスプレイ１６のサイズは０．９ｍ×０．９ｍであるので、ポインタ１でディスプレイ１６内の位置をポイントしている場合には、ＣＣＤ受光素子３−５は必ず同心円の干渉縞の一部分を検出することができる。 In FIG. 4, the distance from the light source (semiconductor laser) 20 to the front surface of the lens (the apex of the cone) is 10 mm, and this is installed in an integrated case to be the pointer 1. The interference fringes 5-5 formed when the laser beam was irradiated perpendicularly to the display 16 3m away from the pointer 1 were orderly concentric circles. The diameter of the outermost circumference of this concentric circle was about Φ1.0 m. The interference pattern near the center is shown in FIG. FIG. 5A shows an interference pattern near the center of the concentric circle, and FIG. 5B shows an interference pattern near the outermost periphery. The pitch of the interference pattern in FIG. 5A was about 0.67 mm, and the pitch in FIG. 5B was about 0.63 mm. Since the size of the display 16 is 0.9 m × 0.9 m, when the pointer 1 points the position in the display 16, the CCD light receiving element 3-5 always detects a part of concentric interference fringes. be able to.

同心円の円弧の法線は必ず同心円の中心を通るので、２つ以上の円弧の法線から同心円の中心位置を算出することができる。円弧が１つの場合はこれを２分割して２つの円弧とし、この法線から同心円の中心位置を算出することができる。また、干渉縞がディスプレイに対して斜めから照射された場合には、干渉縞の円弧の変形状態から斜めの角度を算出することで、同様に干渉縞の中心位置を算出することができる。 Since the normal line of the arc of the concentric circle always passes through the center of the concentric circle, the center position of the concentric circle can be calculated from the normal lines of two or more arcs. When there is one arc, it is divided into two arcs, and the center position of the concentric circle can be calculated from this normal. In addition, when the interference fringes are obliquely applied to the display, the center position of the interference fringes can be similarly calculated by calculating the oblique angle from the deformation state of the arc of the interference fringes.

図６は、ディスプレイ上に干渉模様を形成し、ポインタの指示個所を検出する他の例を示す図である。本図は同心円光干渉模様がディスプレイ１１−８ａや１１−８ｂなどの対象物に投影されている様子を示す。同心円光干渉模様はこれを形成する光学レンズを頂点にした多重円錐（光強度のピークの空間領域を線で表すと円錐になる）とこれが投影された平面との交線で形成される。円錐と平面の交線は常に楕円であるので、平面に投影される干渉模様は多重楕円となる。平面が光源の光軸に対して垂直な場合には正円となる。楕円の長軸と短軸をＸ軸、Ｙ軸とする座標系に対しては、楕円は次式（１）で表される。 FIG. 6 is a diagram illustrating another example in which an interference pattern is formed on the display and a pointer pointing portion is detected. This figure shows a state in which the concentric light interference pattern is projected onto an object such as the display 11-8a or 11-8b. The concentric light interference pattern is formed by a line of intersection between a multiple cone having the optical lens forming the apex as a vertex (a space area of a light intensity peak becomes a cone when represented by a line) and a plane on which the cone is projected. Since the intersection line between the cone and the plane is always an ellipse, the interference pattern projected onto the plane is a multiple ellipse. When the plane is perpendicular to the optical axis of the light source, it is a perfect circle. For a coordinate system in which the major and minor axes of the ellipse are the X axis and the Y axis, the ellipse is expressed by the following equation (1).

次に楕円を基準にしたこの座標系を、投影された平面の固定座標系ｘ−ｙに変換する。この２つの座標系は同一平面内に存在するので、平行移動（ｐ，ｑ）と回転θの座標変換を行えば対応づけることができる。 Next, this coordinate system based on the ellipse is converted into a fixed coordinate system xy of the projected plane. Since these two coordinate systems exist in the same plane, they can be associated by performing coordinate transformation of translation (p, q) and rotation θ.

関係式（２）を（１）に代入すると、次式が得られる。 Substituting relational expression (2) into (1) gives the following expression.

光干渉模様が投影される平面内にＣＣＤセンサ３−８ａや３−８ｂを設置し、ある一つの同心円の座標（ｘ、ｙ）を５点読みとり、式（３）に代入する。未知数はａ、ｂ、ｐ、ｑ、θの５個なので、座標を５点読みとることで未知数を求めることができる。ＣＣＤセンサには複数の同心円が投影されるので、異なる楕円の式を導き出すことで多重楕円の収束点を算出することができる。この収束点が光源の光軸と投影される平面との交点２０−８となり、レーザポインタとして使用する場合にはレーザポインタの指示点となる。 The CCD sensors 3-8a and 3-8b are installed in the plane on which the light interference pattern is projected, and five coordinates (x, y) of a certain concentric circle are read and substituted into Expression (3). Since there are five unknowns, a, b, p, q, and θ, the unknown can be obtained by reading the coordinates at five points. Since a plurality of concentric circles are projected onto the CCD sensor, the convergence point of the multiple ellipse can be calculated by deriving different ellipse equations. This convergence point becomes the intersection 20-8 between the optical axis of the light source and the projected plane, and when used as a laser pointer, it becomes the indication point of the laser pointer.

楕円上の５点を式（３）に代入して未知数を算出するのは計算が大変面倒であり、ＣＣＤセンサが捉えた画像のリアルタイム処理には適さない。より簡易な方法により多重楕円の収束点を見つける方法が望まれる。図７は、楕円の中心点を簡易に求める方法を示す図である。先ず、楕円の中心点をＯとし、楕円上の点Ｑと点Ｒの接線の交点をＰとする。線分ＯＰが線分ＱＲと交わる点をＳ、楕円曲線と交わる点をＴとすると、
ＱＳ＝ＳＲ（４）
ＯＳ・ＯＰ＝ＯＴ^２（５）
という関係式が成立する（補助円を考えると簡易に導かれる）。
ＯＰ＝ＯＳ＋ＳＰ、ＯＴ＝ＯＳ＋ＳＴを式（５）に代入すると、
ＯＳ＝ＳＴ^２／（ＳＰ−２・ＳＴ）（６）
が得られる。線分ＯＳの長さが分かれば、直線ＰＳの式から中心点Ｏを算出することができる。以上の手順を整理すると、［１］１個の楕円曲線を抽出し、楕円上の２点Ｑ、Ｒの接線を算出する、［２］接線の交点Ｐと線分ＱＲの中点Ｓと直線ＰＳと楕円曲線との交点Ｔを算出する、［３］式（６）より線分ＯＳの長さが分かり、楕円の中心点Ｏが算出できる。 Substituting the five points on the ellipse into Equation (3) to calculate the unknown is very cumbersome and is not suitable for real-time processing of the image captured by the CCD sensor. A method of finding a convergence point of multiple ellipses by a simpler method is desired. FIG. 7 is a diagram showing a method for easily obtaining the center point of an ellipse. First, let O be the center point of the ellipse, and P be the intersection of the tangent line between point Q and point R on the ellipse. If the point where the line OP intersects the line QR is S, and the point where the line OP intersects the elliptic curve is T,
QS = SR (4)
OS · OP = OT ² (5)
The following relational expression holds (it is easily derived when considering the auxiliary circle).
Substituting OP = OS + SP and OT = OS + ST into equation (5),
OS = ST ² / (SP-2 · ST) (6)
Is obtained. If the length of the line segment OS is known, the center point O can be calculated from the equation of the straight line PS. When the above procedure is arranged, [1] one elliptic curve is extracted, and the tangent of two points Q and R on the ellipse is calculated. The intersection point T of the PS and the elliptic curve is calculated. [3] The length of the line segment OS can be found from the equation (6), and the center point O of the ellipse can be calculated.

ここでは、楕円上の２点の接線を求めて楕円中心を算出したが、楕円上の３点の接線を求めて楕円中心を計算することもできる。［１］１個の楕円曲線を抽出し、楕円上の３点Ｑ、Ｒ、Ｑ’の接線を算出する、［２］接線の交点Ｐ、Ｐ’と線分ＱＲ、ＲＱ’の中点Ｓ、Ｓ’を算出する、［３］直線ＰＳ、Ｐ’Ｓ’を求め、その交点である楕円の中心点Ｏを算出する。以上、楕円中心の算出方法を２通り述べたが、どちらの方法を採用しても構わない。 Here, the ellipse center is calculated by obtaining the tangent of two points on the ellipse, but the ellipse center can also be calculated by obtaining the tangent of three points on the ellipse. [1] Extract one elliptic curve and calculate tangents of three points Q, R and Q ′ on the ellipse. [2] Intersections P and P ′ of tangents and midpoint S of line segments QR and RQ ′ , S ′ is calculated. [3] The straight lines PS and P ′S ′ are obtained, and the center point O of the ellipse which is the intersection is calculated. In the above, two methods for calculating the center of the ellipse have been described, but either method may be adopted.

楕円の扁平率が低い場合や精度を必要としない場合には、楕円の中心点を多重楕円の収束点と見なすことができる。高い精度が必要な場合には、３個以上の楕円の中心点を算出し、その位置座標の変化率から収束点を求めたり、あるいは、式（３）に楕円の中心点（ｐ、ｑ）と楕円上の３点を代入して、未知数ａ，ｂ，θを求め、扁平率ｂ／ａから光軸に対する平面の傾きを算出し、多重楕円の収束点を導くこともできる。 When the ellipticity of the ellipse is low or when accuracy is not required, the center point of the ellipse can be regarded as the convergence point of the multiple ellipse. When high accuracy is required, the center point of three or more ellipses is calculated and the convergence point is obtained from the rate of change of the position coordinates, or the center point (p, q) of the ellipse is expressed by Equation (3). And the three points on the ellipse are substituted to find the unknowns a, b, and θ, the inclination of the plane with respect to the optical axis is calculated from the flatness ratio b / a, and the convergence point of the multiple ellipse can be derived.

通常投影される平面はディスプレイや映写面であり、一般に床に垂直に設置されていることが多い。光源が平面から離れている場合には光源の光軸が投影される平面に対してほぼ垂直になることがよくある。この場合、楕円は正円と扱うことができ上式（３）は次のように簡略化される。 Usually, the projected plane is a display or a projection surface, and is generally installed vertically on the floor. When the light source is far from the plane, the optical axis of the light source is often almost perpendicular to the projected plane. In this case, the ellipse can be treated as a perfect circle, and the above equation (3) is simplified as follows.

未知数はｐ、ｑ、ｒの３点であるので、ＣＣＤセンサによりある正円の３点を読み込めば解を得ることができる。
以上のような方法で、ポインタにより対象物上に形成された同心円または多重楕円の干渉模様の中心座標を算出することができる。 Since the unknowns are three points p, q, and r, a solution can be obtained by reading three points of a certain perfect circle by the CCD sensor.
By the method as described above, the center coordinates of the interference pattern of concentric circles or multiple ellipses formed on the object by the pointer can be calculated.

本システムの動作にはあらかじめ使用環境の３次元位置がわかっていることが必要である。例えばスクリーンの対角２点やＰＴＺカメラを囲むような直方体の対角３点、さらに机や椅子や机上のＰＣモニタなどのオブジェクトの座標をＰＣ４に入力し、バーチャルな環境を構築しておく。 For the operation of this system, it is necessary to know the three-dimensional position of the usage environment in advance. For example, a virtual environment is constructed by inputting, to the PC 4, two diagonal points of the screen, three diagonal points of a rectangular parallelepiped surrounding the PTZ camera, and coordinates of an object such as a desk, chair or PC monitor on the desk.

バーチャルな環境構築には、例えば光源の３次元位置を簡易に計測する方式などが利用できる。図１３はバーチャルな環境を構築するための方法の一例を示す図であり、（ａ）は実空間室内を、（ｂ）はＰＣ内バーチャル空間を示すものである。図示のように机１３１の例えば３箇所にＬＥＤ光源１３２ａ，ｂ，ｃを置き、これを部屋１３３内での配置が既知の特殊カメラ１３４で撮影することでＬＥＤ光源１３２の３次元座標の検出が可能である。この座標を特殊カメラ１３４の配置座標を基準として部屋１３３全体の座標系に変換すると机１３１の位置がＰＣに入力できる。ここでの特殊カメラ１３４は、公知の技術、例えば特開２００４−２１２３２８号公報に記載の位置計測システムの技術を用いることができる。これはＣＣＤに球面収差の大きい半球レンズを取り付けたもので、収差により点光源がＣＣＤ面上ではリング状の像となる。このリング像は点光源の距離によって半径が決まり、ＣＣＤ面と平行な座標系での位置はＣＣＤ面上のリング像の中心位置として反映されるので位置計測が可能である。本例ではＬＥＤ光源１３２を３個配置しているが、それよりも多くても少なくてもよい。また、１個のＬＥＤ光源１３２を順次置き直して座標取得してもよい。 For example, a method of simply measuring the three-dimensional position of a light source can be used for constructing a virtual environment. FIG. 13 is a diagram showing an example of a method for constructing a virtual environment, where (a) shows a real space room and (b) shows a virtual space in a PC. As shown in the figure, the LED light sources 132a, b, and c are placed at, for example, three places on the desk 131, and the three-dimensional coordinates of the LED light source 132 are detected by photographing them with a special camera 134 whose arrangement in the room 133 is known. Is possible. If this coordinate is converted into the coordinate system of the entire room 133 with reference to the arrangement coordinate of the special camera 134, the position of the desk 131 can be input to the PC. The special camera 134 here can use a known technique, for example, a technique of a position measurement system described in Japanese Patent Application Laid-Open No. 2004-212328. This is a CCD in which a hemispherical lens having a large spherical aberration is attached, and the point light source becomes a ring-shaped image on the CCD surface due to the aberration. The radius of this ring image is determined by the distance of the point light source, and the position in the coordinate system parallel to the CCD surface is reflected as the center position of the ring image on the CCD surface, so that the position can be measured. In this example, three LED light sources 132 are arranged, but the number may be more or less. Further, coordinates may be obtained by sequentially replacing one LED light source 132.

図１３（ａ）において、部屋１３３の左下奥角の座標を（０，０，０）とすると、ＬＥＤ光源１３２ａのカメラを基準とした座標は（ｘ１，ｙ１，ｚ１）、カメラの室内座標が（Ａ，Ｂ，０）なので、図１３（ｂ）に示すように、取得座標は（Ａ−ｘ１，Ｂ−ｙ１，−ｚ１）となって、ＰＣ内のバーチャル空間にマッピングすることができる。バーチャル空間内の机は、例えば直方体のような単純な図形として表現することができる。ＬＥＤ光源１３２ｂ，ｃの座標（ｘ２，ｙ２，ｚ２）、（ｘ３，ｙ３，ｚ３）も同様にしてＰＣ内のバーチャル空間にマッピングすることができる。他のオブジェクトの座標も同様にしてＰＣに入力することができる。そのほかにもＬＥＤ光源やマーカーを２台以上のカメラで撮影し、２枚の撮影画像上のマーカー位置から三角測量により位置を算出する方式なども有効である。 In FIG. 13A, assuming that the coordinates of the lower left corner of the room 133 are (0, 0, 0), the coordinates of the LED light source 132a with respect to the camera are (x1, y1, z1), and the room coordinates of the camera are Since it is (A, B, 0), as shown in FIG. 13B, the acquired coordinates are (A-x1, By-y1, -z1) and can be mapped to the virtual space in the PC. A desk in the virtual space can be expressed as a simple figure such as a rectangular parallelepiped. Similarly, the coordinates (x2, y2, z2) and (x3, y3, z3) of the LED light sources 132b and c can be mapped to the virtual space in the PC. The coordinates of other objects can be input to the PC in the same manner. In addition, it is also effective to shoot LED light sources and markers with two or more cameras and calculate the position by triangulation from the marker positions on the two captured images.

また会議参加者はその位置が一定でないので、会議参加者の胸や肩などに上記のようなＬＥＤ光源やマーカーをつけておき、その位置がわかるようにしておく。図１４は人物の位置をわかるようにするための方法の一例を示す図であり、（ａ）は実空間室内を、（ｂ）はＰＣ内バーチャル空間を示すものである。ＬＥＤ光源の場合は特殊カメラで、マーカーの場合は２台以上のカメラで撮影すると、その点の位置が算出される。その点から大人の人間の幅や高さ分の立体を仮想的に設定すると、バーチャルな環境内で会議参加者の位置を設定できる。図１４（ａ）において、部屋１４３の左下奥角の座標を（０，０，０）とすると、人物１４１につけたＬＥＤ光源１４２のカメラを基準とした座標は（ｘ０，ｙ０，ｚ０）、上述のような特殊カメラ１４４の室内座標が（Ａ，Ｂ，０）なので、図１３（ｂ）に示すように、取得座標は（Ａ−ｘ０，Ｂ−ｙ０，−ｚ０）となって、ＰＣ内のバーチャル空間にマッピングすることができる。人物は例えば楕円や長方形や直方体のような単純な図形として表現することができる。 Further, since the positions of the conference participants are not constant, the LED light sources and markers as described above are attached to the chest and shoulders of the conference participants so that the positions can be understood. FIG. 14 is a diagram showing an example of a method for making the position of a person known. FIG. 14A shows a real space room, and FIG. 14B shows a virtual space in the PC. In the case of an LED light source, when shooting with a special camera and in the case of a marker with two or more cameras, the position of the point is calculated. From this point, if the three-dimensional shape of an adult human being is virtually set, the positions of the conference participants can be set in a virtual environment. In FIG. 14A, assuming that the coordinates of the lower left back corner of the room 143 are (0, 0, 0), the coordinates based on the camera of the LED light source 142 attached to the person 141 are (x0, y0, z0), which are described above. Since the room coordinates of the special camera 144 such as (A, B, 0) are as shown in FIG. 13B, the acquired coordinates are (A-x0, By-y0, -z0), and are in the PC. Can be mapped to a virtual space. A person can be expressed as a simple figure such as an ellipse, a rectangle or a rectangular parallelepiped.

以下、実施例１の動作について図１および図２を参照しながら図８のフローチャートに沿って説明する。まず、ポインタ１のＳＷ１をＯＮ状態にする。ステップ８１にて、ポインタ１のＳＷ２を押しながらＰＴＺカメラ３にポインタ１を向ける。ＰＴＺカメラ３の位置はあらかじめ入力してあるので、その位置情報は既知である。ステップ８２にて、ポインタ１の光軸とＰＴＺカメラ３の位置領域が交差しているか否か判別する。否の場合はポインタ１の指示方向を調整してステップ８２を繰り返す。交差していると判別したときは次のステップに進む。ここで、ポインタ１の光軸とＰＴＺカメラ３の位置領域が交差することを検知する処理は簡単な幾何処理で可能である。光軸が交差すると判別できる手段（例えば、ポインタ内にバイブレータを設けバイブレーションを与える、カメラに赤色灯などを設け発光させるなどの手段）により、ポインタ使用者はＰＴＺカメラ３の方向操作が可能であることを認識する。 Hereinafter, the operation of the first embodiment will be described with reference to FIGS. 1 and 2 along the flowchart of FIG. First, SW1 of the pointer 1 is turned on. In step 81, the pointer 1 is pointed at the PTZ camera 3 while pressing SW2 of the pointer 1. Since the position of the PTZ camera 3 is input in advance, the position information is known. In step 82, it is determined whether or not the optical axis of the pointer 1 and the position area of the PTZ camera 3 intersect. If not, the pointing direction of the pointer 1 is adjusted and step 82 is repeated. When it is determined that they intersect, the process proceeds to the next step. Here, the process of detecting the intersection of the optical axis of the pointer 1 and the position area of the PTZ camera 3 can be performed by a simple geometric process. The pointer user can operate the direction of the PTZ camera 3 by means that can discriminate when the optical axes cross each other (for example, a means for providing a vibration in the pointer to provide vibration, a red light for the camera to emit light, etc.). Recognize that.

ポインタ１の光軸とカメラ３の位置領域が交差しているか否かの判別については、カメラの位置領域を簡単のために有限な平面として、ポインタの光軸は直線なので、平面と直線の交点を算出し、その座標値が有限な領域にあれば交差していると判定できる。図１５は、ポインタの光軸とカメラの位置領域が交差することを判定する方法の一例を示す図である。まず、カメラ１を囲む直方体１５１を想定し、その領域から平面１５２を規定する。平面の式は一般に、
ｌｘ＋ｍｙ＋ｎｚ＝ｆ
と表すことができる。ここでは面と辺が床や壁に平行または垂直と仮定し、
ａ≦ｘ≦ｂ，ｃ≦ｙ≦ｄ，ｚ＝ｅ
とする。一方、ポインタ１の指し示す直線は、
Ａ（ｘ−ｓ）＝Ｂ（ｙ−ｔ）＝Ｃ（ｚ−ｕ）
と表すことができる。この式とｚ＝ｅとから平面１５２との交点のｘ座標とｙ座標が求められる。このｘ座標とｙ座標とが上記不等式を満足していればポインタ１の光軸とカメラ３の位置領域が交差していると判定することができる。 For determining whether or not the optical axis of the pointer 1 and the position area of the camera 3 intersect, since the position area of the camera is a finite plane for simplicity and the optical axis of the pointer is a straight line, the intersection of the plane and the straight line If the coordinate value is in a finite region, it can be determined that the intersection has occurred. FIG. 15 is a diagram illustrating an example of a method for determining that the optical axis of the pointer intersects with the camera position area. First, a rectangular parallelepiped 151 surrounding the camera 1 is assumed, and a plane 152 is defined from the region. The plane equation is generally
lx + my + nz = f
It can be expressed as. Here we assume that the faces and sides are parallel or perpendicular to the floor or wall,
a ≦ x ≦ b, c ≦ y ≦ d, z = e
And On the other hand, the straight line indicated by the pointer 1 is
A (x−s) = B (y−t) = C (z−u)
It can be expressed as. From this equation and z = e, the x coordinate and the y coordinate of the intersection with the plane 152 are obtained. If the x-coordinate and y-coordinate satisfy the above inequality, it can be determined that the optical axis of the pointer 1 and the position area of the camera 3 intersect.

この交差したという判別時点からはカメラは制御権がポインタ(利用者)に占有される。ポインタ利用者の指示動作は空間操作なので、ポインタを向けただけでは指示方向がカメラにあたっているかどうかは判別しにくい。そこで上述のように音や光、振動などの感覚に訴える手段を付加することで、ポインタ利用者自身に「カメラを指示した、そしてカメラの方向制御が可能になった」という認識を容易に与えることができる。 From the point of determination that the crossing has occurred, the control right of the camera is occupied by the pointer (user). Since the pointing operation of the pointer user is a spatial operation, it is difficult to determine whether the pointing direction is on the camera simply by pointing the pointer. Therefore, by adding means to appeal to the sense of sound, light, vibration, etc., as described above, the pointer user himself can easily recognize that “the camera has been instructed and camera direction control has become possible” be able to.

続いて、ステップ８３にて、ポインタ１をターゲットである対象物５へ向けてＳＷ２を離す。このときのポインタ指示座標はポインタ光軸と対象物５との交点座標となる。ステップ８４にて、ポインタ光軸と対象物５との交点座標を算出する。この交点座標は、上述した方法で干渉模様の中心座標を算出することにより得られる。ステップ８５にて、この交点座標にＰＴＺカメラ３を向けるコマンドをＰＣ４からＰＴＺカメラ３に送出する。以上の操作により、ポインタ１を振るだけでカメラ３の方向を制御可能となる。ＳＷ２の操作に関しては、ＰＴＺカメラへ向けてＳＷ２を押すようにする。ターゲットへ向けたときに再度ＳＷ２を押すというような操作でもよく、ＳＷ３を併用することも可能である。 Subsequently, in step 83, the pointer 1 is directed toward the target object 5, and SW2 is released. The pointer instruction coordinates at this time are the intersection coordinates of the pointer optical axis and the object 5. In step 84, the intersection coordinates of the pointer optical axis and the object 5 are calculated. This intersection coordinate is obtained by calculating the center coordinate of the interference pattern by the method described above. In step 85, a command for directing the PTZ camera 3 to the intersection coordinates is sent from the PC 4 to the PTZ camera 3. With the above operation, the direction of the camera 3 can be controlled simply by waving the pointer 1. Regarding the operation of SW2, SW2 is pushed toward the PTZ camera. An operation such as pressing SW2 again when it is directed to the target may be used, and SW3 may be used in combination.

このように構成することにより、例えばテレビ会議において、ローカル側の画像をリモートへ提供するＰＴＺカメラの制御をローカル側の参加者が直感的にポインタデバイスを振ることで操作することができる。また、ポインタにスイッチを設け、スイッチによる切り替えで普段はプレゼンテーションポインタとして使用し、好きなときだけＰＴＺカメラの方向操作をすることが可能である。本実施例では、複数のＰＴＺカメラの使い分けも可能である。 With this configuration, for example, in a video conference, control of the PTZ camera that provides local images to the remote can be operated by a participant on the local side intuitively shaking the pointer device. Also, a switch is provided on the pointer, and it is usually used as a presentation pointer by switching with the switch, and the direction operation of the PTZ camera can be operated only when desired. In this embodiment, a plurality of PTZ cameras can be used properly.

（実施例２）
図９（ａ）〜（ｆ）は、本発明に係るカメラ制御システムの他の実施例を示す図である。本実施例は、実施例１と同様のポインタを用い、このポインタの指示方向とカメラの光軸をロックさせてポインタの動作でカメラを追随制御するものである。本システムは、図示のように、レーザ光を放射する光源および異なる光路を通過するレーザ光により対象物５上に同心円状の干渉模様を形成する光学レンズ系を備えたポインタ１と、干渉模様を検出する検出装置２と、撮影方向が制御可能なカメラ３と、検出装置２からの検出信号に基いてカメラ３を制御するＰＣ（パソコン）４とを備える。本実施例では、ポインタ１、検出装置２、カメラ３および対象物５は実施例１のものと同じものを用いることができる。 (Example 2)
FIGS. 9A to 9F are diagrams showing another embodiment of the camera control system according to the present invention. In this embodiment, the same pointer as that of the first embodiment is used, and the camera is controlled by the operation of the pointer by locking the pointing direction of the pointer and the optical axis of the camera. As shown in the figure, this system includes a pointer 1 having a light source that emits laser light and an optical lens system that forms a concentric interference pattern on an object 5 by laser light passing through different optical paths, and an interference pattern. A detection device 2 for detecting, a camera 3 capable of controlling the shooting direction, and a PC (personal computer) 4 for controlling the camera 3 based on a detection signal from the detection device 2 are provided. In the present embodiment, the same pointer 1, detection device 2, camera 3, and object 5 as those of the first embodiment can be used.

本実施例のＰＣ４は、実施例１のものと同様に受光センサ（検出装置）の画像をモニタし画像処理を行うものであるが、具体的には、検出装置２からの検出信号に基いて上述のような方法で同心円状の干渉模様の中心座標を算出し、この中心座標をポインタ１の光軸と対象物５との交点座標とし、ポインタ１からこの交点座標までの距離を記憶し、この交点座標にカメラ３の撮影方向を向けるための初期化の制御信号をカメラ３に出力し、その後ポインタ１が向けられたポインタ光軸上の前記記憶した距離における距離座標を算出し、この距離座標にカメラ３の撮影方向を向けるための制御信号をカメラ３に出力するものである。 The PC 4 of this embodiment monitors the image of the light receiving sensor (detection device) and performs image processing as in the first embodiment. Specifically, the PC 4 is based on the detection signal from the detection device 2. The center coordinate of the concentric interference pattern is calculated by the method as described above, this center coordinate is the intersection coordinate between the optical axis of the pointer 1 and the object 5, and the distance from the pointer 1 to this intersection coordinate is stored, An initialization control signal for directing the photographing direction of the camera 3 to the intersection coordinates is output to the camera 3, and then the distance coordinates at the stored distance on the pointer optical axis to which the pointer 1 is directed are calculated. A control signal for directing the shooting direction of the camera 3 to the coordinates is output to the camera 3.

なお、上記ＰＣ４の処理において、カメラ３の撮影方向を交点座標に向けるための初期化の制御は別の方法でも行うことができる。例えば、ポインタ１に可視レーザ光を放射する光源を設け、ポインタ１から可視レーザ光を対象物５に照射し、この可視レーザ光の対象物５上の光点（輝点）がすなわち交点座標と同じであるので、この光点がＰＴＺカメラ３の画像中心にくるように公知のアルゴリズムを用いてＰＣ４からＰＴＺカメラ３に制御信号を出力するようにしてもよい。 In the processing of the PC 4, the initialization control for directing the shooting direction of the camera 3 to the intersection coordinates can be performed by another method. For example, a light source that emits visible laser light is provided on the pointer 1, and the object 5 is irradiated with visible laser light from the pointer 1, and a light spot (bright spot) on the object 5 of the visible laser light is an intersection coordinate. Since they are the same, a control signal may be output from the PC 4 to the PTZ camera 3 using a known algorithm so that the light spot comes to the center of the image of the PTZ camera 3.

以下、実施例２の動作について図２および図９を参照しながら図１０のフローチャートに沿って説明する。まず、ポインタ１のＳＷ１をＯＮ状態にする。ステップ１０１にて、ポインタのＳＷ２を押しながら位置情報が既知の任意の物体、本例では図９（ａ）に示すように対象物５の右下隅にポインタを向けてＳＷ２を離す。この場合、対象物５の右下隅がポインタ光軸と物体領域との交点座標となる。このとき、ＰＴＺカメラ３のカメラ画像は例えば図９（ｂ）に示すとおり交点座標が画面右下方向にずれている。ステップ１０２にて、ポインタ光軸と物体領域との交点座標を上述した方法により算出しポインタからこの交点までの距離Ｌをメモリ（記憶）しておく。なお、この距離の算出は公知の方法を用いることができ、例えば特開２００４−２８９７７号公報に記載の技術を用いることができる。すなわち、ポインタ１により形成した干渉模様と対象物５の距離は一対一対応で決定され、同じ干渉模様が異なる距離の対象物に形成されることはないので、干渉模様を観察することで対象物の距離を決定することができる。対象物の位置は、干渉模様を検出したＣＣＤ素子からの信号に基いて演算することができる。 Hereinafter, the operation of the second embodiment will be described along the flowchart of FIG. 10 with reference to FIGS. 2 and 9. First, SW1 of the pointer 1 is turned on. In step 101, while pressing the SW2 of the pointer, the pointer is directed to the lower right corner of the target object 5 as shown in FIG. 9A in this example, and the SW2 is released. In this case, the lower right corner of the object 5 is the intersection coordinate between the pointer optical axis and the object region. At this time, in the camera image of the PTZ camera 3, for example, as shown in FIG. 9B, the intersection coordinates are shifted in the lower right direction of the screen. In step 102, the intersection coordinates between the pointer optical axis and the object area are calculated by the method described above, and the distance L from the pointer to the intersection is stored in memory. This distance can be calculated using a known method, for example, the technique described in Japanese Patent Application Laid-Open No. 2004-28977. That is, the distance between the interference pattern formed by the pointer 1 and the object 5 is determined in a one-to-one correspondence, and the same interference pattern is not formed on an object having a different distance. The distance can be determined. The position of the object can be calculated based on the signal from the CCD element that has detected the interference pattern.

次に、ステップ１０３にて、この交点座標の方向へＰＴＺカメラ３を向けるコマンドをＰＣ４より送出し、ＰＴＺカメラ３の撮影方向を交点座標へ向ける。この状態を図９（ｃ）に示す。これにより、ＰＴＺカメラ３のカメラ画像は図９（ｄ）に示すとおり交点座標が画面中心にくる。なお、ここまでの処理は、上述のようにポインタ１から可視レーザ光も照射し、その光点（輝点）がＰＴＺカメラの画像中心にくるようにＰＴＺカメラを制御してもよい。この制御も公知のアルゴリズムを用いることができる。 Next, in step 103, a command for pointing the PTZ camera 3 in the direction of the intersection coordinates is sent from the PC 4, and the shooting direction of the PTZ camera 3 is directed to the intersection coordinates. This state is shown in FIG. Thereby, the intersection coordinates of the camera image of the PTZ camera 3 are at the center of the screen as shown in FIG. In the processing so far, the PTZ camera may be controlled so that the visible laser beam is also emitted from the pointer 1 as described above, and the light spot (bright spot) is at the center of the image of the PTZ camera. A known algorithm can also be used for this control.

続いて、ステップ１０４にて、ポインタ１のＳＷ３を押しながらポインタ１をターゲットへ向ける。本例のターゲットは図９（ｅ）に示すように対象物５の前にいる人物６である。この操作の間、ステップ１０５にて、ポインタ光軸上で距離Ｌの点を算出し、この座標へＰＴＺカメラを向けるコマンドを送出する。すなわち、ポインタ光軸はリアルタイムで算出され、その光軸上で先に記憶した距離Ｌの点を算出し、この点の座標（距離座標）へＰＴＺカメラ３の撮影方向を向ける制御を継続する。これによりポインタ１の指示方向とＰＴＺカメラ３の撮影方向は連動することとなり、ポインタ１の指示方向にカメラの撮影方向が連続的に追随する。その結果、ＰＴＺカメラ３は、図９（ｆ）に示すように、ターゲットである人物６が画面中心にくるように制御される。 Subsequently, in step 104, the pointer 1 is directed to the target while pressing SW3 of the pointer 1. The target in this example is a person 6 in front of the object 5 as shown in FIG. During this operation, in step 105, a point of distance L on the pointer optical axis is calculated, and a command for pointing the PTZ camera to this coordinate is sent. That is, the pointer optical axis is calculated in real time, the point of the distance L previously stored on the optical axis is calculated, and the control for directing the photographing direction of the PTZ camera 3 to the coordinate (distance coordinate) of this point is continued. As a result, the pointing direction of the pointer 1 and the shooting direction of the PTZ camera 3 are interlocked, and the shooting direction of the camera continuously follows the pointing direction of the pointer 1. As a result, the PTZ camera 3 is controlled so that the target person 6 is at the center of the screen as shown in FIG.

ステップ１０６にて、ＳＷ３を離すとＰＴＺカメラ３は固定される。再びＳＷ３を押すとカメラ制御モードとなる。このように本実施例では、ポインタの指示方向とＰＴＺカメラの光軸をロックさせてポインタでＰＴＺカメラを制御することができる。これにより、ユーザーがポインタにより指し示す方向へＰＴＺカメラが向くというように直感的な操作が可能となる。本実施例では、ポインタの指示方向を変える間もＰＴＺカメラが追随するのでより直感的な操作となる。また、複数のＰＴＺカメラを同じ被写体に同時に向けることも可能である。 In step 106, when SW3 is released, the PTZ camera 3 is fixed. Press SW3 again to enter camera control mode. As described above, in this embodiment, it is possible to control the PTZ camera with the pointer by locking the pointing direction of the pointer and the optical axis of the PTZ camera. As a result, an intuitive operation is possible such that the PTZ camera faces in the direction indicated by the user with the pointer. In this embodiment, since the PTZ camera follows while changing the pointing direction of the pointer, the operation becomes more intuitive. It is also possible to point a plurality of PTZ cameras to the same subject at the same time.

（実施例３）
図１１（ａ）〜（ｅ）は、本発明に係るカメラ制御システムの他の実施例を示す図である。本実施例は、実施例１と同様のポインタを用い、人物などの位置座標があらかじめわかっていないような場合でもＰＴＺカメラの方向制御を可能とするものである。本システムは、図示のように、レーザ光を放射する光源および異なる光路を通過するレーザ光により対象物５上に同心円状の干渉模様を形成する光学レンズ系を備えたポインタ１と、干渉模様を検出する検出装置２と、撮影方向が制御可能な２台のカメラ３ａ、３ｂと、検出装置２からの検出信号に基いてカメラ３ａ、３ｂを制御するＰＣ（パソコン）４とを備える。本実施例では、ポインタ１、検出装置２、カメラ３ａ、３ｂおよび対象物５は実施例１のものと同じものを用いることができる。 (Example 3)
FIGS. 11A to 11E are diagrams showing another embodiment of the camera control system according to the present invention. The present embodiment uses the same pointer as in the first embodiment, and enables the direction control of the PTZ camera even when the position coordinates of a person or the like are not known in advance. As shown in the figure, this system includes a pointer 1 having a light source that emits laser light and an optical lens system that forms a concentric interference pattern on an object 5 by laser light passing through different optical paths, and an interference pattern. A detection device 2 for detection, two cameras 3a and 3b whose imaging directions can be controlled, and a PC (personal computer) 4 for controlling the cameras 3a and 3b based on detection signals from the detection device 2 are provided. In the present embodiment, the same pointer 1, detection device 2, cameras 3 a and 3 b and object 5 as those of the first embodiment can be used.

本実施例のＰＣ４は、実施例１のものと同様に受光センサ（検出装置）の画像をモニタし画像処理を行うものであるが、具体的には、検出装置２からの検出信号に基いて上述の同心円状の干渉模様の中心座標を算出し、この中心座標をポインタ１の光軸と対象物５との交点座標とし、この交点座標に２台のカメラ３ａ、３ｂの撮影方向を向けるための制御信号を２台のカメラに出力し、かつ２台のカメラ３ａ、３ｂによる２つのカメラ画像からそれぞれ特徴点を抽出し、２つのカメラ画像で特徴点分布の近い領域を選択し、この選択領域がカメラ画像の中心に来るように２台のカメラの撮影方向を調整するための調整信号を２台のカメラ３ａ、３ｂに出力するものである。 The PC 4 of this embodiment monitors the image of the light receiving sensor (detection device) and performs image processing as in the first embodiment. Specifically, the PC 4 is based on the detection signal from the detection device 2. In order to calculate the center coordinates of the above-described concentric interference pattern, set the center coordinates as the intersection coordinates of the optical axis of the pointer 1 and the object 5, and direct the photographing directions of the two cameras 3a and 3b to the intersection coordinates. The control signal is output to two cameras, and feature points are extracted from the two camera images from the two cameras 3a and 3b, respectively. An adjustment signal for adjusting the shooting direction of the two cameras so that the region is at the center of the camera image is output to the two cameras 3a and 3b.

以下、実施例３の動作について図２および図１１を参照しながら図１２のフローチャートに沿って説明する。まず、ポインタ１のＳＷ１をＯＮ状態にする。ステップ１２１にて、ポインタ１のＳＷ２を押すとシステムはカメラ制御モードとなる。ステップ１２２にて、ポインタをターゲットへ向けてＳＷ３を押す。ステップ１２３にて、ポインタ光軸と対象物との交点座標を上述した方法で算出する。すなわち、検出装置２が設置される対象物５上のポインタ光軸の交点座標が算出される。図示のように対象物５の前に人物６がいるが、人物６の位置座標は不明なものでもよい。ステップ１２４にて、この交点座標へ撮影方向を向けるようにＰＣ４から２台のカメラ３ａ、３ｂへ制御コマンドが送出される。これにより、ステップ１２５にて、２台のカメラ３ａ、３ｂはズームが広角側で上記交点座標へパンおよびチルトされる。 Hereinafter, the operation of the third embodiment will be described along the flowchart of FIG. 12 with reference to FIG. 2 and FIG. First, SW1 of the pointer 1 is turned on. In step 121, when the SW2 of the pointer 1 is pressed, the system enters the camera control mode. In step 122, the pointer is pointed at the target and SW3 is pressed. In step 123, the intersection coordinates of the pointer optical axis and the object are calculated by the method described above. That is, the intersection coordinates of the pointer optical axis on the object 5 on which the detection device 2 is installed are calculated. As shown in the figure, the person 6 is in front of the object 5, but the position coordinates of the person 6 may be unknown. In step 124, a control command is sent from the PC 4 to the two cameras 3a and 3b so that the photographing direction is directed to the intersection coordinates. Thereby, in step 125, the two cameras 3a and 3b are panned and tilted to the intersection coordinates on the wide angle side.

次に、ステップ１２６にて、ＰＣ４は２台のカメラ３ａ、３ｂの各カメラ画像からそれぞれ特徴点抽出を行う。これは画像をある閾値で２値化したり、輪郭抽出を行うことで抽出が可能となる。ステップ１２７にて、２台のカメラによる両カメラ画像で特徴点の分布が近い領域を選択（抽出）する。ステップ１２８にて、ＰＣ４は各々のカメラ画像中でその選択領域が画面の中心にくるように２台のカメラ３ａ、３ｂに対し制御コマンドを送出する。これらの特徴点分布の近い領域の抽出と一致部を検出する処理は、２台のカメラで撮った画像から３次元画像を導き出す処理と同様であり、いくつかの公知アルゴリズムの適用が可能である。これにより、カメラ２台でポインタの指示する対象物をステレオ推定して撮影し、ポインタで印をつけた領域にズームすることができる。本実施例では、人物などのようにターゲットの位置座標があらかじめわかっていないような場合でもＰＴＺカメラの方向制御が可能である。 Next, in step 126, the PC 4 extracts feature points from the camera images of the two cameras 3a and 3b. This can be extracted by binarizing the image with a certain threshold or by performing contour extraction. In step 127, an area having a close distribution of feature points is selected (extracted) in both camera images from the two cameras. In step 128, the PC 4 sends a control command to the two cameras 3a and 3b so that the selected area in each camera image is at the center of the screen. The process of extracting a region close to the feature point distribution and detecting the coincidence is the same as the process of deriving a three-dimensional image from images taken by two cameras, and some known algorithms can be applied. . As a result, the object pointed to by the pointer can be stereo-estimated and photographed by two cameras, and the region marked with the pointer can be zoomed. In this embodiment, the direction control of the PTZ camera can be performed even when the position coordinates of the target are not known in advance, such as a person.

以上、本発明の実施例を説明してきたが、本発明はこれらの実施例に限定されない。これらの実施例の変形例として、例えば、ＰＴＺカメラの方向制御のためにターゲットを指したあと、ＳＷ２（もしくはＳＷ３）を再び押しながらターゲット近辺のズームアップしたい領域の対角線をなぞる動作を行う。あらかじめＰＴＺカメラは受光部が設置される面上においてキャリブレーション処理が行われており、上記面上での対角線の対角座標が含まれるような撮影領域が算出され、この領域を撮影するためにＰＴＺカメラへズーミングの制御コマンドが送出されるようにすることができる。 As mentioned above, although the Example of this invention has been described, this invention is not limited to these Examples. As a modified example of these embodiments, for example, after pointing to the target for controlling the direction of the PTZ camera, the operation of tracing the diagonal line of the region to be zoomed up near the target is performed while pressing SW2 (or SW3) again. The PTZ camera has been previously calibrated on the surface where the light receiving unit is installed, and an imaging area is calculated that includes the diagonal coordinates of the diagonal line on the surface. A zooming control command can be sent to the PTZ camera.

本発明はテレビ会議等で用いるカメラの撮影方向を制御することができるカメラ制御システムに係り、特にカメラの撮影方向をポインタを用いて直感的に制御することができるカメラ制御システムに関するものであり、産業上の利用可能性がある。 The present invention relates to a camera control system capable of controlling the shooting direction of a camera used in a video conference and the like, and more particularly to a camera control system capable of intuitively controlling the shooting direction of a camera using a pointer. There is industrial applicability.

（ａ）、（ｂ）は本発明に係るカメラ制御システムの一実施例を示す図である。(A), (b) is a figure which shows one Example of the camera control system which concerns on this invention. 本発明で用いるポインタの一例を示す図であり、（ａ）は概略構成図、（ｂ）はブロック構成図である。It is a figure which shows an example of the pointer used by this invention, (a) is a schematic block diagram, (b) is a block block diagram. ディスプレイ上に干渉模様を形成し、ポインタの指示個所を検出する一例を示す図である。It is a figure which shows an example which forms an interference pattern on a display and detects the indication location of a pointer. （ａ）は円錐レンズを用いて同心円干渉模様を形成する一例を示す図、（ｂ）は円錐レンズの一例を示す図である。(A) is a figure which shows an example which forms a concentric interference pattern using a conical lens, (b) is a figure which shows an example of a conical lens. 干渉模様の一例を示す図で、（ａ）は同心円の中心付近の干渉模様を示し、（ｂ）は最外周付近の干渉模様を示す。It is a figure which shows an example of an interference pattern, (a) shows the interference pattern near the center of a concentric circle, (b) shows the interference pattern near the outermost periphery. ディスプレイ上に干渉模様を形成し、ポインタの指示個所を検出する他の例を示す図である。It is a figure which shows the other example which forms an interference pattern on a display and detects the indication location of a pointer. 楕円の中心点を簡易に求める方法を示す図である。It is a figure which shows the method of calculating | requiring the center point of an ellipse simply. 実施例１の動作を説明するためのフローチャートである。3 is a flowchart for explaining an operation of the first embodiment. （ａ）〜（ｆ）は本発明に係るカメラ制御システムの他の実施例を示す図である。(A)-(f) is a figure which shows the other Example of the camera control system which concerns on this invention. 実施例２の動作を説明するためのフローチャートである。10 is a flowchart for explaining an operation of the second embodiment. （ａ）〜（ｅ）は本発明に係るカメラ制御システムの他の実施例を示す図である。(A)-(e) is a figure which shows the other Example of the camera control system which concerns on this invention. 実施例３の動作を説明するためのフローチャートである。10 is a flowchart for explaining an operation of the third embodiment. バーチャルな環境を構築するための方法の一例を示す図であり、（ａ）は実空間室内を、（ｂ）はＰＣ内バーチャル空間を示すものである。It is a figure which shows an example of the method for constructing | assembling a virtual environment, (a) shows a real space room | chamber interior, (b) shows virtual space in PC. 人物の位置をわかるようにするための方法の一例を示す図であり、（ａ）は実空間室内を、（ｂ）はＰＣ内バーチャル空間を示すものである。It is a figure which shows an example of the method for making a person's position known, (a) shows a real space room, (b) shows virtual space in PC. ポインタの光軸とカメラの位置領域が交差することを判定する方法の一例を示す図である。It is a figure which shows an example of the method of determining that the optical axis of a pointer and the position area | region of a camera cross | intersect.

Explanation of symbols

１ポインタ
２検出装置
３カメラ
４ＰＣ（パソコン）
５対象物
６人物
２０光源
２１光学レンズ系
２２干渉模様発生装置
２３制御回路
２４アンテナ
２５通信回路
２６電源 1 Pointer 2 Detector 3 Camera 4 PC (Personal Computer)
DESCRIPTION OF SYMBOLS 5 Object 6 Person 20 Light source 21 Optical lens system 22 Interference pattern generator 23 Control circuit 24 Antenna 25 Communication circuit 26 Power supply

Claims

A pointer capable of detecting an intersection coordinate with an indicated axis on an object to be indicated and a camera capable of controlling a shooting direction; and controlling the camera so that the shooting direction of the camera is directed to the intersection coordinate. A featured camera control system.

A pointer having means for forming a concentric pattern on an object, a detection device for detecting the concentric pattern, and a camera capable of controlling the photographing direction, and based on a detection signal from the detection device And calculating the center coordinates of the concentric pattern, setting the center coordinates as the intersection coordinates of the pointing axis of the pointer and the object, and controlling the camera so that the photographing direction of the camera is directed to the intersection coordinates. A camera control system characterized by that.

The camera control system according to claim 2, wherein the concentric pattern is formed by interference.

The said pointer was equipped with the optical lens system which forms a concentric interference pattern on a target object with the light source which radiates | emits a laser beam, and the said laser beam which passes a different optical path, The said Claim 1 or 2 characterized by the above-mentioned. Camera control system.

The distance from the pointer to the intersection coordinate is stored, the distance coordinate at the stored distance on the pointer optical axis to which the pointer is separately directed is calculated, and the shooting direction of the camera is directed to the distance coordinate. The camera control system according to claim 4, wherein the camera is controlled.

The camera control system according to any one of claims 1 to 5, wherein a plurality of the cameras are provided, and the plurality of cameras are controlled so that shooting directions of the plurality of cameras are directed to the intersection coordinates.

Two cameras are provided, control is performed so that the shooting directions of the two cameras are directed to the intersection coordinates, and feature points are extracted from two camera images of the two cameras, respectively. 6. The camera according to claim 1, wherein an area with a close feature point distribution is selected, and the shooting directions of the two cameras are adjusted so that the selected area comes to the center of the camera image. Control system.

The camera control system according to claim 1, wherein the camera is a pan / tilt / zoom camera.

A light source that emits laser light, a pointer that includes an optical lens system that forms a concentric interference pattern on an object by the laser light that passes through different optical paths, a detection device that detects the interference pattern, and an imaging direction. Based on a controllable camera and a detection signal from the detection device, the center coordinates of the concentric interference pattern are calculated, the center coordinates are the intersection coordinates of the optical axis of the pointer and the object, and the intersection points A camera control system comprising: an arithmetic and control unit that outputs a control signal for directing a shooting direction of the camera to coordinates.

A light source that emits laser light, a pointer that includes an optical lens system that forms a concentric interference pattern on an object by the laser light that passes through different optical paths, a detection device that detects the interference pattern, and an imaging direction. Based on a controllable camera and a detection signal from the detection device, a center coordinate of the concentric interference pattern is calculated, the center coordinate is set as an intersection coordinate between the optical axis of the pointer and the object, and the pointer Is stored in the stored distance on the pointer optical axis to which the pointer is directed, and a control signal for directing the shooting direction of the camera to the intersection coordinates is output to the camera. An arithmetic control storage device that calculates a distance coordinate and outputs a control signal for directing a shooting direction of the camera to the distance coordinate to the camera; The camera control system.

A pointer provided with a first light source that emits infrared laser light, a second light source that emits visible laser light, and an optical lens system that forms a concentric interference pattern on an object by the infrared laser light passing through different optical paths And a detection device for detecting the interference pattern, a camera capable of controlling a photographing direction, a center coordinate of the concentric interference pattern based on a detection signal from the detection device, and the center coordinate as the pointer For storing the distance from the pointer to the intersection coordinates, and directing the shooting direction of the camera to the light spot formed on the object by the visible laser beam. A control signal is output to the camera, and then the distance coordinate at the stored distance on the optical axis of the pointer to which the pointer is pointed is calculated, and the camera captures the distance coordinate. The camera control system is characterized in that an arithmetic control store for outputting a control signal for directing toward the camera.

A light source that emits laser light, a pointer that includes an optical lens system that forms a concentric interference pattern on an object by the laser light that passes through different optical paths, a detection device that detects the interference pattern, and a shooting direction is The center coordinates of the concentric interference pattern are calculated based on two controllable cameras and a detection signal from the detection device, and the center coordinates are set as the intersection coordinates of the optical axis of the pointer and the object. A control signal for directing the shooting direction of the two cameras to the intersection coordinates is output to the two cameras, and feature points are extracted from the two camera images of the two cameras, respectively. An area having a close distribution of feature points is selected from two camera images, and an adjustment signal for adjusting the shooting direction of the two cameras so that the selected area comes to the center of the camera image. The camera control system is characterized in that an arithmetic control unit for outputting.

A pointer used in the camera control system according to any one of claims 1 to 12, wherein a light source that emits laser light and an optical that forms a concentric interference pattern on an object by the laser light passing through different optical paths. A pointer comprising: an interference pattern generation device including a lens system; a control circuit for controlling the interference pattern generation device; and a communication circuit for transmitting a signal from the control circuit.

The pointer according to claim 13, further comprising an antenna for wirelessly transmitting a signal from the communication circuit.

A plurality of switches are connected to the control circuit, of which the first switch operates the interference pattern generating device, the second switch serves as a mouse left click button, and a third switch 15. The pointer according to claim 13, wherein the pointer serves as a mouse right click button.

A pointer device for instructing a camera whose imaging direction is controllable to direct the imaging direction of the camera toward an object, and instructing the object to direct the imaging direction of the camera toward the object And a providing means for providing, as control information indicating the shooting direction of the camera, an intersection coordinate between an indication axis of the object along the indication direction of the pointer and an indication surface of the object. Characteristic pointer device.

The pointer device according to claim 16, wherein the pointer includes concentric pattern generating means for forming a concentric pattern on the object.

The providing means includes detection means for detecting the concentric pattern and calculation means for calculating center coordinates of the concentric pattern as the intersection coordinates based on a detection signal from the detection means. The pointer device according to claim 17.

The pointer device according to claim 17 or 18, wherein the concentric pattern is formed by interference.

The concentric pattern generating means includes a light source that emits laser light and an optical lens system that forms a concentric interference pattern on an object by the laser light passing through different optical paths. The pointer device described.