JP2002091686A - Method and device for detecting position, visual feature detecting method, pointing system and monitoring system - Google Patents

Method and device for detecting position, visual feature detecting method, pointing system and monitoring system

Info

Publication number
JP2002091686A
JP2002091686A JP2000280395A JP2000280395A JP2002091686A JP 2002091686 A JP2002091686 A JP 2002091686A JP 2000280395 A JP2000280395 A JP 2000280395A JP 2000280395 A JP2000280395 A JP 2000280395A JP 2002091686 A JP2002091686 A JP 2002091686A
Authority
JP
Japan
Prior art keywords
image
detecting
omnidirectional
acquired
image acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000280395A
Other languages
Japanese (ja)
Inventor
Hiroshi Ishiguro
浩 石黒
Takeshi Maeda
武志 前田
Shinji Oki
信二 大木
Nobuo Yamato
信夫 大和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vstone Co Ltd
Original Assignee
Vstone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vstone Co Ltd filed Critical Vstone Co Ltd
Priority to JP2000280395A priority Critical patent/JP2002091686A/en
Publication of JP2002091686A publication Critical patent/JP2002091686A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide position detecting method/device for precisely detecting the two-dimensional position of an object with a small constitution without the need of conventional scanning mechanism and driving means. SOLUTION: Omniazimuth photographing units 1 which can photograph an omniazimuth in a peripheral direction at a time are individually arranged near the four corner parts of a panel 51 with which the tip of an instructing pen 52 that a user operates is brought in contact. A main control part 53a detects the position of the instructing pen 52 on the basis of the picture of the omniaziumth including the instructing pen 52 which are acquired with the respective omniazimuth photographing units 1. A moving track as the secular position fluctuation of the instructing pen 52 is displayed on a display part 53c.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、周方向の画像を取
得する複数の画像取得手段を用いて物体の位置を検出す
る方法及び装置、物体の視覚的特徴を検出する方法、並
びに、それらを利用したポインティングシステム及び監
視システムに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and an apparatus for detecting the position of an object using a plurality of image acquisition means for acquiring images in the circumferential direction, a method for detecting the visual characteristics of an object, and a method for detecting the visual characteristics of the object. The present invention relates to a pointing system and a monitoring system used.

【0002】[0002]

【従来の技術】平面内における物体の2次元位置を検出
する方法として、レーザ光などの光線を利用する方法が
従来から知られている。光線を利用する方法は、特にポ
インティングデバイスなどで良く見られる方法であっ
て、レーザ光を角度走査して物体(指示ペン)からの反
射光を検知し、その反射光に基づいて物体(指示ペン)
の位置を検出する方法、または、これとは逆に、周縁が
再帰性反射体で覆われた平面内でレーザ光を角度走査
し、物体(指示ペン)の存在によって反射光が得られな
いことを利用して物体(指示ペン)の位置を検出する方
法などが行われている。
2. Description of the Related Art As a method for detecting a two-dimensional position of an object in a plane, a method using a light beam such as a laser beam has been conventionally known. The method using a light beam is a method often used particularly with a pointing device or the like, and detects a reflected light from an object (pointing pen) by performing angular scanning with a laser beam, and detects an object (pointing pen) based on the reflected light. )
Method of detecting the position of the laser beam, or conversely, the laser beam is angularly scanned in a plane whose periphery is covered with a retroreflector, and reflected light cannot be obtained due to the presence of an object (pointing pen) There is a method of detecting the position of an object (pointing pen) by using a method.

【0003】また、物体の2次元位置を検出する他の方
法として、カメラなどの画像撮影手段を使用する方法も
公知である。この方法では1または複数のカメラを配置
して、検出対象の物体を含む画像を取得し、その取得画
像の解析による物体の特徴(色,形状など)に基づいて
物体を同定してその位置を検出する。
As another method for detecting the two-dimensional position of an object, a method using image capturing means such as a camera is also known. In this method, one or a plurality of cameras are arranged, an image including an object to be detected is acquired, the object is identified based on the characteristics (color, shape, etc.) of the object by analyzing the acquired image, and the position is identified. To detect.

【0004】[0004]

【発明が解決しようとする課題】上述した光線を利用す
る方法では、レーザ光などの光線を走査させるための走
査機構が必要であるという問題がある。また、その反射
光の減衰も問題であり、遠距離の物体の位置検出は困難
であるという問題がある。
The above-described method using a light beam has a problem that a scanning mechanism for scanning a light beam such as a laser beam is required. Further, attenuation of the reflected light is also a problem, and there is a problem that it is difficult to detect the position of a distant object.

【0005】一方、従来の画像撮影手段を使用する方法
では、単一の画像撮影手段(カメラ)の視野範囲が狭い
ので、広範囲での物体の位置検出を行うためには、非常
に多数の画像撮影手段(カメラ)を設置しなければなら
ないという問題がある。なお、カメラを回転させること
により、カメラの設置台数を減らすことは可能である
が、この場合には、カメラの駆動手段が必要であり、ま
た、瞬間的に周方向の全方位または広角の画像が得られ
ないので、検出結果にタイムラグが生じるという問題が
ある。
On the other hand, in the method using the conventional image photographing means, since the field of view of a single image photographing means (camera) is narrow, an extremely large number of images are required to detect the position of an object over a wide range. There is a problem that a photographing means (camera) must be provided. In addition, it is possible to reduce the number of cameras installed by rotating the camera, but in this case, a camera driving means is required, and in addition, an omnidirectional or wide-angle image in the circumferential direction is instantaneously obtained. Cannot be obtained, there is a problem that a time lag occurs in the detection result.

【0006】本発明は斯かる事情に鑑みてなされたもの
であり、周方向の全方位または広角を一度に撮影できる
複数の画像取得手段を用いることにより、従来のような
走査機構,駆動手段などが不要であって低コストの小型
の構成にて、精度良く物体の2次元位置を検出できる位
置検出方法及び位置検出装置、精度良く物体の視覚的特
徴を検出できる視覚的特徴検出方法、並びに、それらの
アプリケーションとしてのポインティングシステム及び
監視システムを提供することを目的とする。
The present invention has been made in view of the above circumstances, and uses a plurality of image acquisition means capable of photographing all directions in the circumferential direction or a wide angle at a time, thereby providing a conventional scanning mechanism, driving means, and the like. A position detection method and a position detection device capable of accurately detecting a two-dimensional position of an object with a low-cost, small-sized configuration that is unnecessary, and a visual feature detection method capable of accurately detecting a visual characteristic of an object, and It is an object to provide a pointing system and a monitoring system as those applications.

【0007】[0007]

【課題を解決するための手段】請求項1に係る位置検出
方法は、平面内における1または複数の物体の位置を検
出する方法において、前記平面に対応する位置に光入射
部が設けられている複数の画像取得手段の夫々により前
記物体を含む周方向の画像を取得し、取得した複数の画
像に基づいて前記物体の位置を検出することを特徴とす
る。
According to a first aspect of the present invention, there is provided a method for detecting a position of one or a plurality of objects in a plane, wherein a light incident portion is provided at a position corresponding to the plane. A plurality of image acquisition means acquire an image in the circumferential direction including the object, and the position of the object is detected based on the acquired images.

【0008】請求項1の位置検出方法にあっては、複数
の画像取得手段の夫々により検出対象の物体を含む周方
向の画像を取得し、それらの取得画像を解析して物体の
位置を検出する。よって、全方位つまり周囲360度の
範囲または広角の範囲を一度に撮影するため、画像取得
手段を駆動する機構は不要であり、少数の画像取得手段
であっても、物体の特徴(色,形状など)を用いずに、
物体の位置を精度良く検出する。
According to the position detecting method of the present invention, a plurality of image obtaining means obtain circumferential images including a detection target object, and analyze the obtained images to detect the position of the object. I do. Therefore, since all directions, that is, a 360-degree range or a wide-angle range are photographed at a time, a mechanism for driving the image acquisition unit is unnecessary, and even with a small number of image acquisition units, the features (color, shape, , Etc.)
The position of an object is accurately detected.

【0009】請求項2に係る位置検出方法は、請求項1
において、前記画像取得手段の夫々はその位置が固定で
あり、前記画像取得手段の夫々にて取得された前記物体
を含まない周方向の第1画像と、前記画像取得手段の夫
々にて取得された前記物体を含む周方向の第2画像との
差分画像を求め、求めた差分画像に応じて前記物体の位
置を検出することを特徴とする。
According to a second aspect of the present invention, there is provided a position detecting method according to the first aspect.
In each of the image acquisition units, the position of each of the image acquisition units is fixed, and the first image in the circumferential direction not including the object acquired by each of the image acquisition units is acquired by each of the image acquisition units. A difference image from the second circumferential image including the object is obtained, and the position of the object is detected according to the obtained difference image.

【0010】請求項2の位置検出方法にあっては、物体
を含まない基準となる画像と物体を含む画像との差分画
像を求め、その差分画像から物体の位置を検出する。よ
って、任意の方向に存在する物体を背景差分によって簡
単に同定でき、各画像取得手段における物体の方位角が
容易に得られる。
According to a second aspect of the present invention, a difference image between a reference image not including an object and an image including the object is obtained, and the position of the object is detected from the difference image. Therefore, an object existing in an arbitrary direction can be easily identified by the background difference, and the azimuth of the object in each image acquisition unit can be easily obtained.

【0011】請求項3に係る位置検出方法は、請求項1
または2において、前記画像取得手段の夫々により周方
向の画像を経時的に取得し、前記物体の経時的な位置を
検出することを特徴とする。
According to a third aspect of the present invention, there is provided a position detecting method according to the first aspect.
In the second aspect, the image in the circumferential direction is temporally acquired by each of the image acquiring means, and the temporal position of the object is detected.

【0012】請求項3の位置検出方法にあっては、物体
を含む画像を経時的に取得して、移動する物体を追跡す
る。この際、物体を含む全方位の画像を取得するため、
物体の追跡にタイムラグが生じない。
According to a third aspect of the present invention, an image including an object is acquired with time, and the moving object is tracked. At this time, to obtain an omnidirectional image including the object,
There is no time lag in tracking the object.

【0013】請求項4に係る位置検出方法は、請求項1
〜3の何れかにおいて、前記物体の前記平面による断面
形状が略円形である場合、前記画像取得手段の夫々にお
ける前記物体への方位角度の誤差、及び、前記画像取得
手段の夫々にて取得した前記物体の画像の見かけの大き
さの誤差を考慮して、前記物体の位置を検出することを
特徴とする。
According to a fourth aspect of the present invention, there is provided a position detecting method according to the first aspect.
In any one of ~, when the cross-sectional shape of the object by the plane is substantially circular, the error of the azimuth angle with respect to the object in each of the image acquisition means, and the error is obtained by each of the image acquisition means. The position of the object is detected in consideration of an apparent size error of the image of the object.

【0014】請求項4の位置検出方法にあっては、検出
誤差として、物体に対する方位角度の誤差及び画像にお
ける物体の見かけの大きさの誤差を考慮して、物体の位
置を検出する。よって、断面が略円形状である物体の位
置を精度良く検出できる。
In the position detecting method according to the fourth aspect, the position of the object is detected in consideration of the error of the azimuth angle with respect to the object and the error of the apparent size of the object in the image as the detection error. Therefore, the position of an object having a substantially circular cross section can be accurately detected.

【0015】請求項5に係る位置検出装置は、平面内に
おける1または複数の物体の位置を検出する装置におい
て、前記平面に対応する位置に設けられており、前記物
体を含む周方向の画像を取得する複数の画像取得手段
と、該画像取得手段の夫々により取得された複数の画像
に基づいて前記物体の位置を検出する検出手段とを備え
ることを特徴とする。
According to a fifth aspect of the present invention, in the device for detecting the position of one or a plurality of objects in a plane, the position detection apparatus is provided at a position corresponding to the plane, and detects a circumferential image including the object. It is characterized by comprising a plurality of image acquiring means for acquiring, and a detecting means for detecting the position of the object based on the plurality of images acquired by each of the image acquiring means.

【0016】請求項5の位置検出装置にあっては、複数
の画像取得手段の夫々により検出対象の物体を含む周方
向の画像を取得し、検出手段によりそれらの取得画像を
解析して物体の位置を検出する。よって、全方位つまり
周囲360度の範囲または広角の範囲を一度に撮影する
ため、画像取得手段を駆動する機構は不要であり、少数
の画像取得手段であっても、物体の特徴(色,形状な
ど)を用いずに、物体の位置を精度良く検出する。
In the position detecting device according to a fifth aspect, a plurality of images in the circumferential direction including the object to be detected are obtained by each of the plurality of image obtaining means, and the obtained images are analyzed by the detecting means to analyze the object. Detect the position. Therefore, since all directions, that is, a 360-degree range or a wide-angle range are photographed at a time, a mechanism for driving the image acquisition unit is unnecessary, and even with a small number of image acquisition units, the features (color, shape, ), And accurately detects the position of the object.

【0017】請求項6に係る位置検出装置は、請求項5
において、前記画像取得手段の夫々は、回転対称な形状
を有する光反射体と、該光反射体に対向する位置に設け
られている撮像器と、前記光反射体への光の入射範囲を
規制する規制部材とを含むことを特徴とする。
According to a sixth aspect of the present invention, there is provided a position detecting device.
Wherein each of the image acquisition means includes a light reflector having a rotationally symmetric shape, an imager provided at a position opposed to the light reflector, and a light incident range on the light reflector. And a regulating member that performs the control.

【0018】請求項6の位置検出装置にあっては、規制
部材にて規制されない必要な光が、回転対称な形状の光
反射体に反射された後、撮像器に入射されて、物体を含
む周方向の画像が取得される。不要な光は規制部材にて
規制されるため、不要な平面における全方位または広角
の画像は得られず、物体を含む画像が確実に得られる。
In the position detecting device according to the sixth aspect, necessary light which is not regulated by the regulating member is reflected by the light reflector having a rotationally symmetric shape, and then is incident on the image pickup device to include the object. A circumferential image is obtained. Since unnecessary light is regulated by the regulating member, an omnidirectional or wide-angle image on an unnecessary plane cannot be obtained, and an image including an object can be reliably obtained.

【0019】請求項7に係る視覚的特徴検出方法は、平
面内における1または複数の物体の視覚的特徴を検出す
る方法において、前記平面に対応する位置に光入射部が
設けられている複数の画像取得手段の夫々により前記物
体を含む周方向の画像を取得し、取得した複数の画像に
基づいて前記物体の視覚的特徴を検出することを特徴と
する。
According to a seventh aspect of the present invention, in the method for detecting visual characteristics of one or a plurality of objects in a plane, a plurality of light incident portions are provided at positions corresponding to the plane. Each of the image acquiring means acquires an image in the circumferential direction including the object, and detects a visual characteristic of the object based on the acquired plurality of images.

【0020】請求項7の視覚的特徴検出方法にあって
は、複数の画像取得手段の夫々により検出対象の物体を
含む周方向の画像を取得し、それらの取得画像を解析し
て物体の視覚的特徴(形状,色など)を検出する。よっ
て、全方位つまり周囲360度の範囲または広角の範囲
を一度に撮影するため、画像取得手段を駆動する機構は
不要であり、少数の画像取得手段であっても、物体の視
覚的特徴を精度良く検出する。
According to the visual feature detecting method of the present invention, each of the plurality of image acquiring means acquires a circumferential image including the object to be detected, and analyzes the acquired images to visually recognize the object. Detect characteristic features (shape, color, etc.). Therefore, since all directions, that is, a 360-degree range or a wide-angle range are photographed at a time, a mechanism for driving the image acquisition unit is unnecessary, and even with a small number of image acquisition units, the visual characteristics of the object can be accurately determined. Detect well.

【0021】請求項8に係るポインティングシステム
は、指示物で指示される位置を検出するポインティング
システムにおいて、前記指示物で接触指示される被接触
体と、該被接触体に接触される前記指示物を含む周方向
の画像を取得する複数の画像取得手段と、該画像取得手
段の夫々により取得された複数の画像に基づいて前記指
示物による指示位置を検出する検出手段とを備えること
を特徴とする。
A pointing system according to claim 8, wherein in the pointing system for detecting a position pointed by the pointer, the contacted body contacted by the pointer and the pointer contacted by the contacted body. A plurality of image acquisition means for acquiring images in the circumferential direction including, and a detection means for detecting a position indicated by the pointer based on the plurality of images acquired by each of the image acquisition means, I do.

【0022】請求項8のポインティングシステムにあっ
ては、被接触体に接触される指示物を含む周方向の画像
を複数の画像取得手段にて取得し、取得した複数の画像
に基づき検出手段にて指示物による指示位置を検出す
る。よって、走査機構,駆動手段を設けることなく簡単
な構成にて位置検出を行える。
According to the pointing system of the present invention, a plurality of images in the circumferential direction including the pointing object contacted by the contacted object are acquired by the plurality of image acquiring means, and the detecting means is provided to the detecting means based on the acquired plurality of images. To detect the position indicated by the pointer. Therefore, position detection can be performed with a simple configuration without providing a scanning mechanism and a driving unit.

【0023】請求項9に係る監視システムは、所定の平
面領域への物体の侵入を監視するシステムにおいて、前
記平面領域における周方向の画像を取得する複数の画像
取得手段と、該画像取得手段の夫々により取得された複
数の画像に基づいて前記物体の侵入を検出する検出手段
とを備えることを特徴とする。
According to a ninth aspect of the present invention, in the system for monitoring entry of an object into a predetermined plane area, a plurality of image acquisition means for acquiring images in a circumferential direction in the plane area; Detecting means for detecting intrusion of the object based on a plurality of images obtained by each of the detecting means.

【0024】請求項9の監視システムにあっては、所定
の平面領域における周方向の画像を複数の画像取得手段
にて取得し、取得した複数の画像に基づき検出手段にて
物体の侵入を検出する。よって、走査機構,駆動手段を
設けることなく簡単な構成にて物体の侵入検出を行え
る。
According to a ninth aspect of the present invention, a plurality of image acquiring means acquires images in a circumferential direction in a predetermined plane area, and the detecting means detects intrusion of an object based on the acquired plurality of images. I do. Therefore, the intrusion of an object can be detected with a simple configuration without providing a scanning mechanism and a driving unit.

【0025】[0025]

【発明の実施の形態】本発明をその実施の形態を示す図
面を参照して具体的に説明する。まず、本発明で用い
る、全方位つまり周方向360度を一度に撮影できる全
方位撮影器の構成について説明する。
DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be specifically described with reference to the drawings showing the embodiments. First, the configuration of an omnidirectional photographing device used in the present invention that can photograph in all directions, that is, 360 degrees in the circumferential direction at a time, will be described.

【0026】図1は、全方位撮影器1の第1例の構成を
示す図である。図1において、10はガラスまたはプラ
スチック材で構成される透明な筒体である。筒体10の
一端側は、回転対称形状を有する半球面状の凸面鏡11
を取付け支持する支持体12に固定されている。この凸
面鏡11は真鍮などを成形加工したものが使用され、そ
の表面は鏡面仕上げがなされている。筒体10の外周面
は、光入射部10aを除く部分が遮光材13に覆われて
いる。また、筒体10の他端側は、光透過用の窓孔14
を有する連結部材15を介してカメラ16に接続されて
いる。
FIG. 1 is a diagram showing the configuration of a first example of the omnidirectional photographing device 1. As shown in FIG. In FIG. 1, reference numeral 10 denotes a transparent cylinder made of glass or plastic material. One end of the cylindrical body 10 has a hemispherical convex mirror 11 having a rotationally symmetric shape.
Is fixed to a supporting body 12 for mounting and supporting. The convex mirror 11 is made of brass or the like, and its surface is mirror-finished. The outer peripheral surface of the cylindrical body 10 is covered with a light shielding material 13 except for the light incident portion 10a. The other end side of the cylindrical body 10 is provided with a window hole 14 for light transmission.
Is connected to a camera 16 via a connecting member 15 having

【0027】カメラ16は、一端が連結部材15に連結
された中空円筒状の筐体17と、筐体17の内周面に螺
合する鏡筒18と、鏡筒18に固定されたレンズ19
と、筐体17の他端に取り付けられたCCD素子20と
を有する。凸面鏡11の頂部と対向する位置にカメラ1
6が配置された態様で、筒体10と筐体17とが連結部
材15を介して連結されている。カメラ16の光軸は、
凸面鏡11の軸線(回転対称体の回転軸)に一致する。
光入射部10aを介して入射されて凸面鏡11で反射さ
れた光が、レンズ19で集束されてCCD素子20に結
像される。鏡筒18の筐体17に対する螺合位置を調整
することにより、レンズ19の光軸方向の位置を変更で
き、レンズ19,CCD素子20間の光学距離を調節し
て、焦点合わせを行えるようになっている。
The camera 16 includes a hollow cylindrical housing 17 having one end connected to the connecting member 15, a lens barrel 18 screwed to the inner peripheral surface of the housing 17, and a lens 19 fixed to the lens barrel 18.
And a CCD element 20 attached to the other end of the housing 17. The camera 1 is located at a position facing the top of the convex mirror 11.
The cylindrical body 10 and the housing 17 are connected via the connecting member 15 in a mode in which 6 is arranged. The optical axis of the camera 16 is
The axis coincides with the axis of the convex mirror 11 (the rotation axis of the rotationally symmetric body).
The light incident through the light incident portion 10a and reflected by the convex mirror 11 is focused by the lens 19 and is imaged on the CCD element 20. By adjusting the screwing position of the lens barrel 18 with respect to the housing 17, the position of the lens 19 in the optical axis direction can be changed, and the optical distance between the lens 19 and the CCD element 20 can be adjusted so that focusing can be performed. Has become.

【0028】このような構成により、全方位撮影器1
は、光入射部10aにおける所定高さからの光を凸面鏡
11にて下方に反射させ、窓孔14,レンズ19を介し
てCCD素子20に結像させて、カメラ16の光軸を中
心とした全方位(360°)の画像を取得する。
With such a configuration, the omnidirectional photographing device 1
Reflects light from a predetermined height at the light incident portion 10a downward by the convex mirror 11 and forms an image on the CCD element 20 through the window hole 14 and the lens 19, with the optical axis of the camera 16 as the center. Obtain images in all directions (360 °).

【0029】なお、上述した第1例では、凸面鏡11の
形状を半球面状としたが、円錐面状,放物面状であって
も良く、その形状は2次曲線面状であることが好まし
い。
In the first example described above, the shape of the convex mirror 11 is hemispherical, but it may be conical or parabolic, and the shape may be a quadratic curved surface. preferable.

【0030】図2は、全方位撮影器1の第2例の構成を
示す図である。第2例の全方位撮影器1では、第1例の
凸面鏡11に代えて凹面鏡21を用いている。他の構成
は、前述した第1例と同様であり、同一部分には同一番
号を付してそれらの説明は省略する。
FIG. 2 is a diagram showing a configuration of a second example of the omnidirectional photographing device 1. As shown in FIG. The omnidirectional imaging device 1 of the second example uses a concave mirror 21 instead of the convex mirror 11 of the first example. Other configurations are the same as those of the first example described above, and the same portions are denoted by the same reference numerals and description thereof will be omitted.

【0031】図3は、全方位撮影器1の第3例の構成を
示す図である。図3において、30は遮光材からなる中
空円筒状の筐体であり、筐体30の一端部には、真球状
をなす球面鏡31を取付け支持する支持体32が連結さ
れている。支持体32はガラスまたはプラスチック材で
構成されており、全方位撮影器1の軸長方向に延在して
おり、その延在部は外光の入射を導入するガイド部32
aとなっている。この球面鏡31は真鍮などを成形加工
したものが使用され、その表面は鏡面仕上げがなされて
いる。また、筐体30の他端部は、カメラ33となって
いる。
FIG. 3 is a diagram showing the configuration of a third example of the omnidirectional photographing device 1. In FIG. 3, reference numeral 30 denotes a hollow cylindrical housing made of a light-shielding material, and a support 32 for attaching and supporting a spherical mirror 31 having a true spherical shape is connected to one end of the housing 30. The support 32 is made of glass or plastic material, and extends in the axial direction of the omnidirectional photographing device 1, and the extending portion is a guide portion 32 for introducing external light.
a. The spherical mirror 31 is formed by processing brass or the like, and its surface is mirror-finished. The other end of the housing 30 is a camera 33.

【0032】カメラ33は、筐体30の内周面に螺合す
る鏡筒34と、鏡筒34に固定されたレンズ35と、筐
体30の他端に取り付けられたCCD素子36とを有す
る。ガイド部32aにおける所定高さからの光がガイド
部32aを介して入射されて球面鏡31で反射された
後、レンズ35で集束されてCCD素子36に結像され
ることにより、カメラ33の光軸を中心とした全方位
(360°)の画像が取得される。このガイド部32a
は、斜め方向からの光が全方位撮影器1に入射されるこ
とを防止する。また、第1例と同様、鏡筒34の筐体3
0に対する螺合位置を調整することにより、レンズ35
の光軸方向の位置を変更でき、レンズ35,CCD素子
36間の光学距離を調節して、焦点合わせを行えるよう
になっている。
The camera 33 has a lens barrel 34 screwed to the inner peripheral surface of the housing 30, a lens 35 fixed to the lens barrel 34, and a CCD element 36 attached to the other end of the housing 30. . Light from a predetermined height at the guide portion 32a enters through the guide portion 32a and is reflected by the spherical mirror 31, and then is converged by the lens 35 and imaged on the CCD element 36, thereby forming the optical axis of the camera 33. Is obtained in all directions (360 °). This guide part 32a
Prevents light from an oblique direction from being incident on the omnidirectional imaging device 1. Also, as in the first example, the housing 3 of the lens barrel 34
By adjusting the screw position with respect to the lens 35,
Can be changed in the optical axis direction, and the optical distance between the lens 35 and the CCD element 36 can be adjusted to perform focusing.

【0033】図4は、全方位撮影器1の第4例の構成を
示す図である。図4において、図1と同一部分には同一
番号を付してそれらの説明は省略する。第4例の全方位
撮影器1では、凸面鏡11の軸線延長上をカメラ16側
に向けて所定の長さだけ先端側を突出させて、線状体4
1が凸面鏡11に嵌入固定されている。
FIG. 4 is a diagram showing a configuration of a fourth example of the omnidirectional photographing device 1. As shown in FIG. 4, the same parts as those in FIG. 1 are denoted by the same reference numerals, and the description thereof will be omitted. In the omnidirectional photographing device 1 of the fourth example, the distal end side is projected by a predetermined length toward the camera 16 on the extension of the axis of the convex mirror 11, and the linear body 4
1 is fitted and fixed to the convex mirror 11.

【0034】筒体10の内面反射光が凸面鏡11にてカ
メラ16のレンズ19に集光されてCCD素子20に結
像し、取得画像の精度が低下する可能性がある。よっ
て、これを防止するために、つまり、不要な反射光がカ
メラ16側に導かれないように、この線状体41を設け
ている。筒体10の内面で反射して凸面鏡11に達する
ような光は、その内面で反射する前に必ず凸面鏡11の
軸線延長上を横切ることになるため、第4例のようにそ
の位置に線状体41を設けておくことにより、内面反射
されて凸面鏡11に達するような光を全てこの線状体4
1で遮ることができる。よって、取得画像の精度の向上
を図れる。
The reflected light from the inner surface of the cylindrical body 10 is condensed by the convex mirror 11 on the lens 19 of the camera 16 and forms an image on the CCD device 20, which may lower the accuracy of the acquired image. Therefore, the linear member 41 is provided to prevent this, that is, to prevent unnecessary reflected light from being guided to the camera 16 side. Since the light that is reflected by the inner surface of the cylindrical body 10 and reaches the convex mirror 11 always crosses the extension of the axis of the convex mirror 11 before being reflected by the inner surface, a linear shape is formed at that position as in the fourth example. By providing the body 41, all of the light that is internally reflected and reaches the convex mirror 11 is
It can be blocked with 1. Therefore, the accuracy of the acquired image can be improved.

【0035】なお、第4例で示したような線状体41
を、第2例の凹面鏡21,第3例の球面鏡31に取り付
けるようにした構成の全方位撮影器1も可能であること
は勿論である。
The linear member 41 as shown in the fourth example
It is needless to say that the omnidirectional photographing device 1 can be configured to be attached to the concave mirror 21 of the second example and the spherical mirror 31 of the third example.

【0036】次に、このような構成を有する全方位撮影
器1を使用して物体の位置を検出する手法について説明
する。本発明では、N個(N≧2)の全方位撮影器1を
使用し、物体の特徴(色,形状など)を用いずに、物体
を同定してその位置を検出する。図5は、その検出方法
の手順を示すフローチャートである。
Next, a method for detecting the position of an object using the omnidirectional photographing device 1 having such a configuration will be described. According to the present invention, an object is identified and its position is detected using N (N ≧ 2) omnidirectional imaging devices 1 without using the feature (color, shape, etc.) of the object. FIG. 5 is a flowchart showing the procedure of the detection method.

【0037】(ステップS1:全方位画像の取得)ある
環境で略同じ高さに固定されているN個の全方位撮影器
1により、検出対象の物体を含む全方位画像を取得す
る。
(Step S1: Acquisition of Omnidirectional Image) An omnidirectional image including an object to be detected is acquired by N omnidirectional photographers 1 fixed at substantially the same height in a certain environment.

【0038】(ステップS2:差分画像の取得)検出対
象の物体が存在しない状況で予め各全方位撮影器1にて
取得した全方位画像(背景画像)と、ステップS1で取
得した全方位画像との差分画像を求める。
(Step S2: Acquisition of Difference Image) An omnidirectional image (background image) previously acquired by each omnidirectional photographing device 1 in a state where no object to be detected exists, and an omnidirectional image acquired in step S1 Is obtained.

【0039】(ステップS3:物体の方位角検出)ステ
ップS2で求めた差分画像に基づいて、任意の方向に存
在する物体を同定し、その画像上の位置から各全方位撮
影器1に対する物体の方位角を検出する。
(Step S3: Detection of Object Azimuth) Based on the difference image obtained in step S2, an object existing in an arbitrary direction is identified, and the position of the object with respect to each omnidirectional camera 1 is determined from the position on the image. Detect azimuth.

【0040】(ステップS4:物体の平面内位置(2次
元位置)の推定)各全方位撮影器1の設置位置及び向き
が既知である場合、ステップS3で検出した方位角か
ら、ステレオ視(三角測量)にて物体の平面内の位置
(2次元位置)を推定する。
(Step S4: Estimation of In-Plane Position of Object (Two-Dimensional Position)) If the installation position and orientation of each omnidirectional photographing device 1 are known, stereo vision (triangle) is performed from the azimuth detected in step S3. Surveying) to estimate the position (two-dimensional position) of the object in the plane.

【0041】検出対象領域内に1個しか物体が存在しな
いことが既知である場合には、最低2個の全方位撮影器
1を用いてその物体の位置を推定できる。これに対し
て、検出対象領域内に複数の物体が存在している場合、
または、何個の物体が存在しているか不明である場合に
は、最低3個の全方位撮影器1を用いてそれらの物体の
位置を推定できる。なお、このような最低限より多くの
数の全方位撮影器1を用いた場合には、その位置推定精
度は向上する。
If it is known that only one object exists in the detection target area, the position of the object can be estimated using at least two omnidirectional imaging devices 1. On the other hand, if there are multiple objects in the detection target area,
Alternatively, when it is unknown how many objects are present, the positions of those objects can be estimated using at least three omnidirectional imaging devices 1. When a larger number of omnidirectional imaging devices 1 are used than the minimum, the position estimation accuracy is improved.

【0042】1個の物体しか存在しないことが分かって
いる場合には、図6(a)に示すように、2個の全方位
撮影器1a,1bにおける方位角の情報(図中実線)か
らそれらの交点(図中A)として物体の位置を推定する
ことができる。しかしながら、複数の物体が存在する場
合には、図6(b)に示すように、2個の全方位撮影器
1a,1bにおける方位角の情報(図中実線)からは、
4つの位置(図中A〜D)に物体が存在することが考え
られて、物体の正確な位置を推定できない。そこで、更
に1個の全方位撮影器1cにおける方位角の情報(図中
破線)を加えることにより、実際には物体が存在しない
位置(図中C,D)を消去して、物体の正しい位置(図
中A,B)のみを推定できる。
When it is known that there is only one object, as shown in FIG. 6A, the azimuth information of the two omnidirectional imaging devices 1a and 1b (solid line in the figure) is used. The position of the object can be estimated as their intersection (A in the figure). However, when there are a plurality of objects, as shown in FIG. 6B, from the azimuth information (solid lines in the figure) of the two omnidirectional imaging devices 1a and 1b,
Since it is considered that the object exists at four positions (A to D in the figure), the accurate position of the object cannot be estimated. Therefore, by adding azimuth information (broken line in the figure) in one omnidirectional photographing device 1c, positions where no object actually exists (C and D in the diagram) are deleted, and the correct position of the object is corrected. (A and B in the figure) can be estimated.

【0043】ところで、このような位置推定にあって
は、観測誤差の問題が生じる。例えば、図6(b)に示
される点A,Bにおいて、3個の全方位撮影器1a,1
b,1cの3つの方位角は交わっているが、実際には求
められた各方位角には誤差が含まれており、1点では交
わらない可能性が高い。また、物体と全方位撮影器との
距離が比較的近い場合には、幅を有して物体が同定され
ることになり、これも観測誤差となる。更に、2個の全
方位撮影器を結ぶ直線(基線)の近傍に物体が存在する
場合には、各全方位撮影器における方位角の差が殆どな
くなって交点が無限遠点に近くなり、ステレオ視の精度
が悪くなる。従って、以上のような観測誤差を考慮して
物体の位置を推定する必要がある。
Incidentally, in such a position estimation, a problem of an observation error occurs. For example, at points A and B shown in FIG. 6B, three omnidirectional imaging devices 1a and 1
Although the three azimuths b and 1c intersect, actually, the obtained azimuths include an error, and there is a high possibility that they do not intersect at one point. Further, when the distance between the object and the omnidirectional photographing device is relatively short, the object is identified with a certain width, which also causes an observation error. Further, when an object exists near a straight line (base line) connecting the two omnidirectional photographing devices, the difference in azimuth angle in each omnidirectional photographing device almost disappears, and the intersection becomes closer to the point at infinity. Poor precision of vision. Therefore, it is necessary to estimate the position of the object in consideration of the observation error as described above.

【0044】本発明では、このような観測誤差を低減す
るために、N個(N≧3)の全方位撮影器1を用いて物
体の位置を推定する。図7は、物体の位置推定の手順、
つまりステップS4のサブルーチンを示すフローチャー
トである。
In the present invention, in order to reduce such an observation error, the position of the object is estimated by using N (N ≧ 3) omnidirectional imaging devices 1. FIG. 7 shows a procedure for estimating the position of an object,
That is, it is a flowchart showing a subroutine of step S4.

【0045】まず、N個の全方位撮影器1の中の任意の
2個の全方位撮影器1によって得られた物体の方位角に
よるステレオ視(2眼ステレオ視)によって物体の位置
を求める(図6(b)のA〜D参照)(ステップS4
1)。この求めた物体の位置を2眼ステレオ視での推定
位置という。
First, the position of an object is determined by stereo vision (binocular stereo vision) based on the azimuth of the object obtained by any two of the N omnidirectional photographers 1 (two-lens stereovision). (See A to D in FIG. 6B) (Step S4)
1). The obtained position of the object is referred to as an estimated position in binocular stereo vision.

【0046】そして、(k−1)眼ステレオ視での推定
位置が、それを求めた(k−1)個の全方位撮影器1と
は異なる他の1個の全方位撮影器1によって得られる物
体の方位角に合致しているか否かを調べることを、k=
3からk=Nまで繰り返す(ステップS42−3〜S4
2−N)。N個全部の方位撮影器1の方位角について、
後述するようなN個の6角形の領域の重なりの個数(重
なり数M)を求める(ステップS43)。以上のような
処理を、N個の全方位撮影器1の中における任意の2個
ずつの全方位撮影器1の全ての組について行う(ステッ
プS44:NO)。
The estimated position in (k-1) stereoscopic vision is obtained by another omnidirectional camera 1 different from the (k-1) omnidirectional cameras 1 from which the position is obtained. To check whether the azimuth angle of the object to be checked matches k =
Repeat from 3 to k = N (Steps S42-3 to S4
2-N). For the azimuth angles of all N azimuth photographers 1,
The number of overlaps (the number of overlaps M) of N hexagonal regions as described later is obtained (step S43). The above-described processing is performed for all pairs of arbitrary two omnidirectional imaging devices 1 in the N omnidirectional imaging devices 1 (step S44: NO).

【0047】ここで、観測誤差を考慮する具体的な手法
について説明する。以下の例では、位置検出対象平面に
おける物体の断面を円形とする。この場合、観測誤差と
して、方位角検出の誤差となる、物体の右端・左端の検
出誤差αと、物体を表す円の直径の誤差βとを考える。
このように誤差をモデル化した場合、以下に述べるよう
に、物体を表す円の中心位置は、これらの誤差範囲を示
す6角形の領域として推定できる。
Here, a specific method of considering the observation error will be described. In the following example, the cross section of the object in the position detection target plane is circular. In this case, as the observation error, a detection error α at the right end and the left end of the object, which is an error of azimuth angle detection, and an error β of a diameter of a circle representing the object are considered.
When the error is modeled in this way, the center position of the circle representing the object can be estimated as a hexagonal region indicating these error ranges, as described below.

【0048】まず、図8(a)のように、全方位撮影器
1から直径dの物体Cが求められたとする。ここで、直
径がd−βの円C- を考える。全方位撮影器1で捉えた
物体Cの右端及び左端から角度±αの範囲内に円C-
右端・左端を捉えるという条件では、円C- の中心が存
在する範囲は、図8(a)のハッチングを付した領域で
表される。ここで、直線nとn′、直線mとm′は夫々
平行であり、図8(a)では上半分の領域のみを示して
いる。同様に、図8(b)のように、直径がd+βの円
+ を考えた場合、その中心が存在する範囲は、図8
(b)のハッチングを付した領域で表される。ここで、
直線nとn″、直線mとm″は夫々平行であり、図8
(b)では上半分の領域のみを示している。従って、直
径がd−βからd+βの範囲内にある円の中心は、図8
(a),(b)に示す領域の頂点(×印)を含む、図8
(b)に示すような6角形の領域に存在する。この6角
形の領域が、測定誤差α,βを考慮した場合の物体の推
定位置を表している。
First, it is assumed that an object C having a diameter d is obtained from the omnidirectional photographing device 1 as shown in FIG. Here, consider a circle C having a diameter of d−β. The condition that capture the rightmost-leftmost circle C - - right end and circle from the left end in the range of angles ± alpha C of the object C captured by the omnidirectional imaging apparatus 1 range center is present in the FIG. 8 (a ) Are indicated by the hatched areas. Here, the straight lines n and n 'and the straight lines m and m' are parallel to each other, and FIG. 8A shows only the upper half region. Similarly, when a circle C + having a diameter of d + β is considered as shown in FIG.
This is represented by the hatched area in FIG. here,
The straight lines n and n ″ and the straight lines m and m ″ are parallel to each other.
(B) shows only the upper half area. Therefore, the center of the circle whose diameter is in the range of d−β to d + β is shown in FIG.
FIG. 8 includes the vertices (x marks) of the regions shown in FIGS.
It exists in a hexagonal area as shown in FIG. The hexagonal area represents the estimated position of the object when the measurement errors α and β are considered.

【0049】このような観測誤差を考慮して物体の位置
を推定する場合に、複数の全方位撮影器1における方位
角によって物体を同定できるか否かは、この6角形の領
域が重なっているか否かによって調べることができる。
When estimating the position of an object in consideration of such observation errors, whether or not the object can be identified by the azimuths of the plurality of omnidirectional imaging devices 1 depends on whether the hexagonal areas overlap. It can be checked by whether or not.

【0050】例えば、上記ステップS41で求められる
2個の全方位撮影器1(1a,1b)による2眼ステレ
オ視での物体の推定位置は、図9に示すような2個の6
角形の領域の重なり部分で表される。同様に、上記ステ
ップS52−3〜S52−Nで求められるk個(k=3
〜N)の全方位撮影器1によるk眼ステレオ視での物体
の推定位置は、k個の6角形の領域の重なり部分で表さ
れる。
For example, the estimated positions of the object in the binocular stereo vision by the two omnidirectional imaging devices 1 (1a, 1b) obtained in step S41 are two 6-position images as shown in FIG.
It is represented by the overlapping portion of the rectangular area. Similarly, k pieces (k = 3) obtained in steps S52-3 to S52-N described above.
The estimated position of the object in the k-eye stereo vision by the omnidirectional imaging device 1 of (N) to (N) is represented by an overlapping portion of k hexagonal regions.

【0051】N個全部の全方位撮影器1の方位角につい
て調べた結果、このような6角形の領域の重なり数Mが
多い場合には、そこに物体が存在する可能性が高い。そ
こで、検出対象領域に存在する物体が1個しかないこと
が既知である場合には(ステップS45:YES)、そ
の重なり数Mが最も多いものを物体の位置として検出す
る(ステップS46)。一方、検出対象領域に複数の物
体が存在する場合、または、検出対象領域に何個の物体
が存在するか不明である場合には(ステップS45:N
O)、その重なり数Mが所定の閾値Tより多いものを物
体の位置として検出する(ステップS47)。この際、
存在する物体の個数が分かっている場合には、その重な
り数Mが多いものを優先的に採用する。
As a result of examining the azimuth angles of all the N omnidirectional photographing devices 1, if the number of overlaps M in such a hexagonal area is large, it is highly possible that an object exists there. Therefore, if it is known that there is only one object existing in the detection target area (step S45: YES), the object having the largest number of overlaps M is detected as the position of the object (step S46). On the other hand, when there are a plurality of objects in the detection target area, or when it is unknown how many objects exist in the detection target area (step S45: N
O), the object whose overlap number M is larger than a predetermined threshold T is detected as the position of the object (step S47). On this occasion,
If the number of existing objects is known, the object having the larger number of overlaps M is preferentially adopted.

【0052】以上のような処理により、2眼ステレオ視
では検出された誤った物体の位置(図6(b)のC,
D)は除去されて、正しい物体の位置(図6(b)の
A,B)のみを正確に検出することが可能となる。
By the above-described processing, the position of the erroneous object detected in the binocular stereo vision (C, C in FIG. 6B)
D) is removed, and only the correct position of the object (A and B in FIG. 6B) can be accurately detected.

【0053】ところで、物体と全方位撮影器1とが特殊
な位置関係にある場合には、誤検出になる可能性があ
る。例えば、図10に示すように、3個の全方位撮影器
1a,1b,1cを用いた場合、実際に物体が存在する
A,B,Cの他に、Dにも物体が存在すると見なされ
る。このような位置Dを検出する誤りは、その物体の位
置推定に用いられている方位角が、他の物体の位置推定
にも重複して用いられている場合に発生する。図10の
例では、全方位撮影器1aによる1つの方位角が位置
B,Dの推定に重複して用いられ、全方位撮影器1bに
よる1つの方位角が位置A,Dの推定に重複して用いら
れ、全方位撮影器1cによる1つの方位角が位置C,D
の推定に重複して用いられている。よって、ある物体の
位置推定に用いられた方位角が全て2度以上重複して用
いられたものである場合には、誤りである可能性が高い
ので、その検出位置は除去するか、または、物体の特徴
(色,形状など)にてその検出位置を検証することが望
ましい。
If the object and the omnidirectional photographing device 1 are in a special positional relationship, there is a possibility that an erroneous detection will occur. For example, as shown in FIG. 10, when three omnidirectional imaging devices 1a, 1b, and 1c are used, it is considered that an object also exists in D in addition to A, B, and C where an object actually exists. . Such an error in detecting the position D occurs when the azimuth used for estimating the position of the object is also used for estimating the position of another object. In the example of FIG. 10, one azimuth angle by the omnidirectional imaging device 1a is used for estimation of the positions B and D, and one azimuth angle by the omnidirectional imaging device 1b overlaps the estimation of the positions A and D. Azimuth angle by the omnidirectional imaging device 1c
Used in the estimation of Therefore, if the azimuths used for estimating the position of a certain object are all used twice or more, it is highly likely that there is an error, and the detected position is removed or It is desirable to verify the detection position based on the feature (color, shape, etc.) of the object.

【0054】(ステップS5:検出した物体の位置情報
の記憶(表示))ステップS4にて検出した1または複
数の物体の位置の情報を、所定の媒体に記憶させておく
か、または、リアルタイムで表示する。
(Step S5: Storing (Displaying) Position Information of Detected Object) Information on the position of one or more objects detected in step S4 is stored in a predetermined medium or in real time. indicate.

【0055】(ステップS6:終了指示の判断)物体の
位置検出の処理を終了する指示がなされた場合に(S
6:YES)、処理は終了し、その指示がなされない場
合、例えば物体の追跡を行う場合など、経時的に物体の
位置検出を行っている場合には(S6:NO)、ステッ
プS1からの処理を繰り返す。
(Step S6: Judgment of end instruction) When an instruction to end the process of detecting the position of the object is given (S6:
6: YES), the process ends, and when the instruction is not given, for example, when the position of the object is detected over time such as when tracking the object (S6: NO), the processing from step S1 is repeated. Repeat the process.

【0056】ところで、上述したN眼ステレオ視による
物体の位置推定の手法では、6角形の重なりを調べたり
する処理が必要であって、計算量が多くて実時間の処理
には適さない場合が考えられる。そこで、少し簡略化し
た手法について、以下に説明する。
In the above-described method of estimating the position of an object by N-eye stereo vision, processing for examining the overlap of hexagons is required, and the amount of calculation is large, which is not suitable for real-time processing. Conceivable. Therefore, a slightly simplified method will be described below.

【0057】2眼ステレオ視の段階では、任意の2個の
全方位撮影器によって検出された物体の方位角を表す直
線の交点を中心とした物体を表す所定直径の円を物体の
位置とする。このような物体の推定位置を、図11に示
す。図11の例では、3個の全方位撮影器1a,1b,
1cの2個1組によって得られる2眼ステレオ視での物
体の3個の推定位置(円)を実線で示している。また、
N眼ステレオ視にあっては、N番目の全方位撮影器で物
体を検出しているか否かを、それらの円が重なっている
か否かで判断する。重なっている場合には、それらの重
心を中心とする前記所定直径の円を物体の位置とする。
具体的に、図11の例では、3個の円の中心の重心位置
を中心とした円(図11の破線の円)を3眼ステレオ視
での物体の推定位置とする。
In the binocular stereo vision stage, a circle having a predetermined diameter representing an object centered on an intersection of straight lines representing the azimuth angles of the objects detected by any two omnidirectional imaging devices is set as the position of the object. . FIG. 11 shows such an estimated position of the object. In the example of FIG. 11, three omnidirectional imaging devices 1a, 1b,
The three estimated positions (circles) of the object in the binocular stereo vision obtained by the pair of 1c are indicated by solid lines. Also,
In N-eye stereo vision, it is determined whether or not an object is detected by the Nth omnidirectional imaging device based on whether or not those circles overlap. If they overlap, the circle having the predetermined diameter centered on the center of gravity is set as the position of the object.
Specifically, in the example of FIG. 11, a circle centered on the barycentric position of the center of the three circles (dashed circle in FIG. 11) is set as the estimated position of the object in three-lens stereo vision.

【0058】また、この簡略化した手法における観測誤
差α,βは次のように考慮する。前述したように、2個
の全方位撮影器を結ぶ直線の周辺では、ステレオ視によ
る物体の位置推定精度が悪くなる。よって、この簡略化
した手法では、次のような問題が生じる。例えば、図1
2(a)〜(c)に示すように、2眼ステレオ視の段階
において、方位角の観測誤差のために交点が得られず
に、実際には物体が存在するにも関わらず、物体を表す
円を求められない場合がある。また、図13に示すよう
に、N眼ステレオ視の段階において、方位角の観測誤差
のために(N−1)眼ステレオ視によって得られる円が
重ならず、物体の位置が推定されない場合がある。
The observation errors α and β in the simplified method are considered as follows. As described above, in the vicinity of a straight line connecting two omnidirectional photographing devices, the position estimation accuracy of an object by stereo vision deteriorates. Therefore, this simplified method has the following problems. For example, FIG.
As shown in FIGS. 2 (a) to 2 (c), at the stage of binocular stereo vision, an intersection is not obtained due to an azimuth angle observation error. The circle to represent may not be obtained. In addition, as shown in FIG. 13, in the stage of N-eye stereo vision, circles obtained by (N−1) -eye stereo vision do not overlap due to an azimuth observation error, and the position of an object may not be estimated. is there.

【0059】そこで、以下のような処理によって、この
ような問題の解決を図る。 (1)2つの直線が交点を持たない場合 図12(a),(b)のように、2個の全方位撮影器1
a,1bを結ぶ直線nと各全方位撮影器1a,1bで検
出した物体の方位角との間の角度θa ,θb が何れもα
以下である場合に、物体はこの直線n上にあるとみな
し、両全方位撮影器1a,1bと物体との間の夫々の距
離の比da :db が、全方位撮影器1a,1bから見た
物体の見かけの大きさの逆数の比と同じになるように、
直線n上で物体の位置を修正する。また、図12(c)
のように、これらの角度θa ,θbのうちの一方(図1
2(c)の例ではθb )のみがα以下である場合に、他
方の方位角(θa )を表す直線上に物体があるとみな
し、両全方位撮影器1a,1bと物体との間の夫々の距
離の比da :db が物体の見かけの大きさの逆数の比に
最も近くなるように、θb をΔθ(Δθ≦α)だけ修正
する。
Therefore, such a problem is solved by the following processing. (1) When Two Straight Lines Do Not Have an Intersection Two omnidirectional imaging devices 1 as shown in FIGS.
The angles θ a and θ b between the straight line n connecting the lines a and b and the azimuths of the objects detected by the omnidirectional imaging devices 1 a and 1 b are both α.
If it is less, considered as the object is on the straight line n, both the omnidirectional imaging unit 1a, 1b the ratio of the distance of each of between the object d a: d b is omnidirectional imaging device 1a, 1b So that the ratio of the reciprocal of the apparent size of the object seen from
Correct the position of the object on the straight line n. FIG. 12 (c)
, One of these angles θ a and θ b (FIG. 1)
In the example of FIG. 2 (c), when only θ b ) is equal to or smaller than α, it is considered that the object is on the straight line representing the other azimuth angle (θ a ), and the omnidirectional imaging devices 1a and 1b and the object the ratio d a distance each between: d b is to be closest to the ratio of the reciprocal of the size of the object apparent, to correct the theta b only Δθ (Δθ ≦ α).

【0060】(2)2つの円が重ならない場合 図13のように、少なくとも何れか一方の円について、
その方位角をα以下に修正する(図13の例では、全方
位撮影器1bによる方位角をΔθだけ修正する)ことに
よって他方の円に重ねることができる場合、それらの2
個の円は重なっているものとみなす。
(2) When Two Circles Do Not Overlap As shown in FIG. 13, at least one of the circles
If the azimuth angle can be corrected to α or less (in the example of FIG. 13, the azimuth angle by the omnidirectional imaging device 1b is corrected by Δθ), if the azimuth angle can be overlaid on the other circle, those 2
The individual circles are considered to be overlapping.

【0061】また、観測誤差βに関しては、次のように
考える。推定された物体の位置と全方位撮影器との間の
距離から、その全方位撮影器上に映る物体の大きさ
(幅)を推定することができる。この推定した大きさと
実際に観測した大きさとがβ以上異なる場合には、誤検
出とみなして、その位置に物体は存在しないと判断す
る。
The observation error β is considered as follows. From the distance between the estimated position of the object and the omnidirectional camera, the size (width) of the object reflected on the omnidirectional camera can be estimated. If the estimated size differs from the actually observed size by β or more, it is regarded as erroneous detection, and it is determined that no object exists at that position.

【0062】次に、このような全方位撮影器を適用した
幾つかのシステムの実施の形態について説明する。
Next, embodiments of some systems to which such an omnidirectional photographing device is applied will be described.

【0063】(第1実施の形態)まず、ポインティング
システムの一例について説明する。図14は、本発明の
第1実施の形態によるポインティングシステムの構成を
示す図である。図14において、51は被接触体として
の平板状のパネルである。このパネル51には、ユーザ
が操作する指示物としての指示ペン52の先端が接触さ
れる。パネル51の4隅角部の近傍には、前述した第1
例〜第4例の何れかの全方位撮影器1が各1個ずつ設け
られている。なお、これらの4個の全方位撮影器1は何
れも、その光入射部10a(またはガイド部32a)が
パネル51の上面をなす平面を含む態様で、設けられて
おり、指示ペン52の先端を含む全方位の画像を取得す
る。
(First Embodiment) First, an example of a pointing system will be described. FIG. 14 is a diagram showing a configuration of the pointing system according to the first embodiment of the present invention. In FIG. 14, reference numeral 51 denotes a flat panel as a contacted body. The tip of the pointing pen 52 as an indicator operated by the user is brought into contact with the panel 51. Near the four corners of the panel 51, the first
One omnidirectional photographing device 1 of any of the examples to the fourth example is provided. Note that each of these four omnidirectional imaging devices 1 is provided in such a manner that the light incident portion 10a (or the guide portion 32a) includes a plane forming the upper surface of the panel 51, and the tip of the pointing pen 52 Obtain an omnidirectional image including.

【0064】各全方位撮影器1は、位置検出器53に接
続されている。位置検出器53は、主制御部53a,記
憶部53b,表示部53c,記録部53d,ROM53
e,RAM53f,入力インタフェース53gなどを備
えている。
Each omnidirectional photographing device 1 is connected to a position detector 53. The position detector 53 includes a main control unit 53a, a storage unit 53b, a display unit 53c, a recording unit 53d, and a ROM 53.
e, a RAM 53f, an input interface 53g, and the like.

【0065】主制御部53aは、具体的にはCPUで構
成されており、位置検出器53内の上述したようなハー
ドウェア各部を制御すると共に、ROM53eに格納さ
れたコンピュータプログラムに従って、物体(指示ペン
52)の位置推定などの種々のソフトウェア的機能を実
行する。
The main control unit 53a is specifically constituted by a CPU, controls each of the above-mentioned hardware components in the position detector 53, and controls an object (instruction) according to a computer program stored in the ROM 53e. Various software functions such as position estimation of the pen 52) are executed.

【0066】記憶部53bは、検出された指示ペン52
の位置データを記憶する。表示部53cは、検出された
指示ペン52の位置データを表示する。なお、この表示
形態としては、その位置情報(2次元座標)そのものを
表示しても良いし、指示ペン52の位置の移動軌跡を表
示するようにしても良い。記録部53dは、記憶部53
bから位置データを読み出して用紙にプリントアウトす
る。
The storage unit 53b stores the detected pointing pen 52
Is stored. The display unit 53c displays the detected position data of the pointing pen 52. In this display mode, the position information (two-dimensional coordinates) itself may be displayed, or the movement locus of the position of the pointing pen 52 may be displayed. The recording unit 53d includes a storage unit 53
Read the position data from b and print out on paper.

【0067】ROM53eは、指示ペン52の位置推定
などの動作に必要な種々のソフトウェアのプログラムを
予め格納している。RAM53fは、SRAMまたはフ
ラッシュメモリ等で構成され、ソフトウェアの実行時に
発生する一時的なデータを記憶する。入力インタフェー
ス53gは、各全方位撮影器1からの取得画像の入力を
制御する。
The ROM 53e stores various software programs necessary for operations such as the position estimation of the pointing pen 52 in advance. The RAM 53f is configured by an SRAM, a flash memory, or the like, and stores temporary data generated when executing software. The input interface 53g controls input of an acquired image from each omnidirectional imaging device 1.

【0068】次に、動作について説明する。ユーザの操
作により指示ペン52が、その先端をパネル51に接触
した態様で移動される。パネル51の4隅に設けられた
4個の全方位撮影器1にて指示ペン52を含む全方位の
画像が取得され、取得された画像が位置検出器53へ入
力される。位置検出器53において、各全方位撮影器1
での取得画像に基づき、上述したようなアルゴリズム
(4眼ステレオ視)に従って、指示ペン52の位置が検
出される。そして、例えば、指示ペン52の位置が表示
部53cに表示され、また、その経時的な位置変動が移
動軌跡として表示部53cに表示される。
Next, the operation will be described. The pointing pen 52 is moved by a user's operation in such a manner that its tip is in contact with the panel 51. An omnidirectional image including the pointing pen 52 is acquired by the four omnidirectional imaging devices 1 provided at four corners of the panel 51, and the acquired image is input to the position detector 53. In the position detector 53, each omnidirectional imaging device 1
The position of the pointing pen 52 is detected based on the image obtained in step (1) and according to the above-described algorithm (four-lens stereo vision). Then, for example, the position of the pointing pen 52 is displayed on the display unit 53c, and the temporal change in the position is displayed on the display unit 53c as a movement locus.

【0069】(第2実施の形態)ポインティングシステ
ムの他の例について説明する。図15は、本発明の第2
実施の形態によるポインティングシステムの構成を示す
図である。図15において、54は平面状のスクリーン
である。このスクリーン54には、ユーザが操作する指
示ペン52の先端が接触される。スクリーン54の4隅
角部の近傍には、前述した第1例〜第4例の何れかの全
方位撮影器1が各1個ずつ設けられている。なお、これ
らの4個の全方位撮影器1は何れも、その光入射部10
a(またはガイド部32a)がスクリーン54の面を含
む態様で、設けられており、指示ペン52の先端を含む
全方位の画像を取得する。
(Second Embodiment) Another example of the pointing system will be described. FIG. 15 shows a second embodiment of the present invention.
FIG. 1 is a diagram illustrating a configuration of a pointing system according to an embodiment. In FIG. 15, reference numeral 54 denotes a flat screen. The tip of the pointing pen 52 operated by the user is brought into contact with the screen 54. In the vicinity of the four corners of the screen 54, one omnidirectional photographing device 1 of any of the above-described first to fourth examples is provided. Note that each of these four omnidirectional imaging devices 1 has its light incident portion 10
a (or the guide portion 32 a) is provided in a mode including the surface of the screen 54, and acquires an omnidirectional image including the tip of the pointing pen 52.

【0070】スクリーン54の下方には、投影器55が
設けられている。投影器55は、コンピュータ56に接
続されており、コンピュータ56から供給される所定の
映像データをスクリーン54に投影する。コンピュータ
56には、各全方位撮影器1が接続されている。コンピ
ュータ56は、上述した位置検出器53と同様の機能を
有しており、その表示画面56aに、スクリーン54で
の投影映像と同じ映像が表示されると共に、検出された
指示ペン52の移動軌跡も表示されるようになってい
る。
A projector 55 is provided below the screen 54. The projector 55 is connected to a computer 56 and projects predetermined video data supplied from the computer 56 onto a screen 54. Each omnidirectional camera 1 is connected to the computer 56. The computer 56 has the same function as the above-described position detector 53. The same image as the projected image on the screen 54 is displayed on the display screen 56a, and the movement locus of the detected pen 52 is detected. Is also displayed.

【0071】次に、動作について説明する。投影器55
により所定の映像がスクリーン54に表示されている。
この際、これと同じ映像がコンピュータ56の表示画面
56aに表示されている。このような状態において、ユ
ーザは、指示ペン52を先端がスクリーン54に接触す
る態様で操作して移動させる。スクリーン54の4隅に
設けられた4個の全方位撮影器1にて指示ペン52を含
む全方位の画像が取得され、取得された画像がコンピュ
ータ56へ入力される。コンピュータ56内にて、各全
方位撮影器1での取得画像に基づき、上述したような4
眼ステレオ視のアルゴリズムに従って、指示ペン52の
位置が検出される。そして、指示ペン52の移動軌跡
が、所定の映像に重なった態様で表示画面56aに表示
される。よって、既存の映像にユーザが追加したい所望
のものを、利便性良く表示できる。
Next, the operation will be described. Projector 55
, A predetermined image is displayed on the screen 54.
At this time, the same video is displayed on the display screen 56a of the computer 56. In such a state, the user operates and moves the pointing pen 52 in such a manner that the tip touches the screen 54. An omnidirectional image including the pointing pen 52 is obtained by the four omnidirectional imaging devices 1 provided at four corners of the screen 54, and the obtained image is input to the computer 56. In the computer 56, based on the image acquired by each omnidirectional camera 1,
The position of the pointing pen 52 is detected according to the algorithm of stereoscopic vision. Then, the movement trajectory of the pointing pen 52 is displayed on the display screen 56a in a manner overlapping the predetermined image. Therefore, it is possible to conveniently display a desired image that the user wants to add to the existing video image.

【0072】(第3実施の形態)監視システムの一例に
ついて説明する。図16は、本発明の第3実施の形態に
よる監視システムの構成を示す図である。図16におい
て、57は美術館の壁面であり、壁面57には絵画58
が懸けられている。壁面57には絵画58を取り囲む位
置に、前述した第1例〜第4例の何れかの4個の全方位
撮影器1が設けられている。なお、これらの4個の全方
位撮影器1は何れも、その光入射部10a(またはガイ
ド部32a)を絵画58の表面の高さに位置決めした態
様で、設けられており、その高さにおける平面での全方
位の画像を取得する。
(Third Embodiment) An example of a monitoring system will be described. FIG. 16 is a diagram illustrating a configuration of a monitoring system according to the third embodiment of the present invention. In FIG. 16, reference numeral 57 denotes a wall of a museum, and a painting 58
Is hung. The four omnidirectional imaging devices 1 of any of the first to fourth examples described above are provided on the wall surface 57 at a position surrounding the painting 58. Note that each of these four omnidirectional imaging devices 1 is provided in such a manner that its light incident portion 10a (or guide portion 32a) is positioned at the height of the surface of the painting 58, and Obtain an omnidirectional image in a plane.

【0073】各全方位撮影器1は、位置検出器59に接
続されている。位置検出器59は、主制御部59a,表
示部59b,ROM59c,RAM59d,入力インタ
フェース59e,警報器59fなどを備えている。
Each omnidirectional photographing device 1 is connected to a position detector 59. The position detector 59 includes a main control unit 59a, a display unit 59b, a ROM 59c, a RAM 59d, an input interface 59e, an alarm 59f, and the like.

【0074】主制御部59aは、具体的にはCPUで構
成されており、位置検出器59内の上述したようなハー
ドウェア各部を制御すると共に、ROM59cに格納さ
れたコンピュータプログラムに従って、不審物の位置推
定などの種々のソフトウェア的機能を実行する。表示部
59bは、各全方位撮影器1での取得画像を必要に応じ
て表示する。ROM59cは、物体(不審物)の位置推
定などの動作に必要な種々のソフトウェアのプログラム
を予め格納している。RAM59dは、SRAMまたは
フラッシュメモリ等で構成され、ソフトウェアの実行時
に発生する一時的なデータを記憶する。入力インタフェ
ース59eは、各全方位撮影器1からの取得画像の入力
を制御する。警報器59fは、不審物が所定の位置に存
在することが検知された場合に、警報を発する。
The main control unit 59a is specifically constituted by a CPU, controls each of the above-described hardware units in the position detector 59, and detects a suspicious object in accordance with a computer program stored in the ROM 59c. Perform various software functions such as position estimation. The display unit 59b displays an image acquired by each omnidirectional camera 1 as necessary. The ROM 59c stores in advance various software programs required for operations such as position estimation of an object (suspicious object). The RAM 59d is configured by an SRAM, a flash memory, or the like, and stores temporary data generated when executing software. The input interface 59e controls the input of the acquired image from each omnidirectional imaging device 1. The alarm 59f issues an alarm when it is detected that a suspicious object exists at a predetermined position.

【0075】次に、動作について説明する。壁面57に
設けられた4個の全方位撮影器1にて所定平面を含む全
方位の画像が常時取得され、取得された画像が位置検出
器59へ入力される。位置検出器59において、各全方
位撮影器1での取得画像に基づき、上述したような4眼
ステレオ視のアルゴリズムに従って、物体(不審物)の
存在の検知と存在する場合の位置検出とが行われる。そ
して、所定の位置に物体を検出した場合、それを不審物
とみなして、警報器59fから警報が発せられる。よっ
て、絵画58の盗難を防止できるだけでなく、絵画58
への接触も防ぐことができる。
Next, the operation will be described. Images in all directions including a predetermined plane are constantly acquired by the four omnidirectional imaging devices 1 provided on the wall surface 57, and the acquired images are input to the position detector 59. In the position detector 59, detection of the presence of an object (suspicious object) and detection of the position in the presence of an object (suspicious object) are performed in accordance with the above-described four-lens stereoscopic vision algorithm based on the image acquired by each omnidirectional imaging device 1. Will be When an object is detected at a predetermined position, the object is regarded as a suspicious object, and an alarm is issued from the alarm 59f. Therefore, not only can the theft of the painting 58 be prevented, but also the painting 58 can be prevented.
Contact can also be prevented.

【0076】(第4実施の形態)保全システムの一例に
ついて説明する。図17は、本発明の第4実施の形態に
よる保全システムの構成を示す図である。図17におい
て、60は内部が高放射線環境である空間、または、内
部で危険な工作機械が作動している空間などの入り口を
示す。その入り口60を取り囲む位置に、前述した第1
例〜第4例の何れかの4個の全方位撮影器1が設けられ
ている。なお、これらの4個の全方位撮影器1は何れ
も、その光入射部10a(またはガイド部32a)を入
り口60の位置に合わせた態様で、設けられており、そ
の位置における平面での全方位の画像を取得する。この
各全方位撮影器1は、第3実施の形態と同様の位置検出
器59に接続されている。
(Fourth Embodiment) An example of a security system will be described. FIG. 17 is a diagram showing a configuration of a maintenance system according to the fourth embodiment of the present invention. In FIG. 17, reference numeral 60 denotes an entrance of a space having a high radiation environment inside, or a space in which a dangerous machine tool is operating. At the position surrounding the entrance 60, the first
Four omnidirectional imaging devices 1 of any of the examples to the fourth examples are provided. In addition, each of these four omnidirectional imaging devices 1 is provided in such a manner that the light incident portion 10a (or the guide portion 32a) is aligned with the position of the entrance 60, and the omnidirectional photographing device 1 is arranged on the plane at that position. Acquire the image of the bearing. Each omnidirectional imaging device 1 is connected to a position detector 59 similar to that of the third embodiment.

【0077】次に、動作について説明する。入り口60
近傍に設けられた4個の全方位撮影器1にてその表面を
含む全方位の画像が常時取得され、取得された画像が位
置検出器59へ入力される。位置検出器59において、
各全方位撮影器1での取得画像に基づき、上述したよう
な4眼ステレオ視のアルゴリズムに従って、物体(不審
物)の存在の検知と存在する場合の位置検出とが行われ
る。そして、入り口60の位置に物体を検出した場合、
それを不審物とみなして、警報器59fから警報が発せ
られる。よって、危険な入り口60に誤って手が入ろう
とした場合、警報が発せられてユーザに知らされるの
で、危険を未然に防止できて安全を確保できる。
Next, the operation will be described. Entrance 60
An omnidirectional image including the surface is constantly acquired by four omnidirectional imaging devices 1 provided in the vicinity, and the acquired image is input to the position detector 59. In the position detector 59,
Based on the image acquired by each omnidirectional camera 1, detection of the presence of an object (suspicious object) and detection of the position when the object is present are performed in accordance with the algorithm of the four-eye stereo vision as described above. When an object is detected at the position of the entrance 60,
It is regarded as a suspicious object, and an alarm is issued from the alarm 59f. Therefore, if the dangerous entrance 60 is attempted to be accessed by mistake, a warning is issued and the user is notified, so that danger can be prevented beforehand and safety can be ensured.

【0078】(第5実施の形態)物体の形状測定システ
ムの一例について説明する。図18は、本発明の第5実
施の形態による形状測定システムの構成を示す図であ
る。図18にあっては、所定の2次元空間を囲むよう
に、前述した第1例〜第4例の何れかの4個の全方位撮
影器1が設けられている。なお、これらの4個の全方位
撮影器1は何れも、その光入射部10a(またはガイド
部32a)をその2次元空間を含むように位置決めした
態様で、設けられており、その2次元空間における全方
位の画像を取得する。そして、検出対象の物体61がこ
の2次元空間を通過しながら移動するようになってい
る。各全方位撮影器1は、コンピュータ56に接続され
ており、取得された全方位の画像がコンピュータ56へ
入力される。
(Fifth Embodiment) An example of an object shape measuring system will be described. FIG. 18 is a diagram showing a configuration of a shape measuring system according to the fifth embodiment of the present invention. In FIG. 18, four omnidirectional imaging devices 1 of any of the above-described first to fourth examples are provided so as to surround a predetermined two-dimensional space. Note that all of these four omnidirectional imaging devices 1 are provided in such a manner that the light incident portion 10a (or the guide portion 32a) is positioned so as to include the two-dimensional space. Obtain an omnidirectional image at. The object 61 to be detected moves while passing through the two-dimensional space. Each omnidirectional camera 1 is connected to a computer 56, and the acquired omnidirectional image is input to the computer 56.

【0079】コンピュータ56において、4個の全方位
撮影器1にて取得された画像に基づいて、経時的に物体
61の位置を検出していくことにより、物体61の移動
速度が既知である場合には、物体61の表面形状を測定
することができる。
In the case where the moving speed of the object 61 is known by detecting the position of the object 61 over time based on the images acquired by the four omnidirectional imaging devices 1 in the computer 56 , The surface shape of the object 61 can be measured.

【0080】(第6実施の形態)演奏システムの一例に
ついて説明する。図19は、本発明の第6実施の形態に
よる演奏システムの構成を示す図である。図19にあっ
て、62は床面であり、床面62の四隅夫々には前述し
た第1例〜第4例の何れかの全方位撮影器1が設けられ
ており、この床面62上でダンサー63がタップダンス
を踊っている。なお、これらの4個の全方位撮影器1は
何れも、その光入射部10a(またはガイド部32a)
をダンサー63の足の位置の高さに位置決めした態様
で、設けられており、その高さにおける平面での全方位
の画像を取得する。各全方位撮影器1は、コンピュータ
56に接続されており、取得された全方位の画像がコン
ピュータ56へ入力される。
(Sixth Embodiment) An example of a performance system will be described. FIG. 19 is a diagram showing a configuration of a performance system according to the sixth embodiment of the present invention. In FIG. 19, reference numeral 62 denotes a floor surface, and the omnidirectional imaging device 1 of any of the first to fourth examples described above is provided at each of the four corners of the floor surface 62. Dancer 63 is performing tap dance. Note that each of these four omnidirectional imaging devices 1 has its light incident portion 10a (or guide portion 32a).
Is positioned at the height of the foot of the dancer 63, and obtains an omnidirectional image on a plane at that height. Each omnidirectional camera 1 is connected to a computer 56, and the acquired omnidirectional image is input to the computer 56.

【0081】このようにしておくことにより、各全方位
撮影器1で経時的に取得される画像の解析によって、ダ
ンサー63の足の動きを検出する。そして、ダンサー6
3の足の微妙な動きからリズムを認識してリズム音楽を
演奏することが可能である。
In this way, the movement of the foot of the dancer 63 is detected by analyzing the images acquired over time by each omnidirectional photographing device 1. And dancer 6
It is possible to play rhythm music by recognizing the rhythm from the subtle movement of the third foot.

【0082】(第7実施の形態)物体検知システムの一
例について説明する。図20は、本発明の第7実施の形
態による物体検知システムの構成を示す図である。前述
した第1例〜第4例の何れかの全方位撮影器1が2個空
間内に設けられており、各全方位撮影器1は、第3実施
の形態と同様の位置検出器59に接続されており、取得
された全方位の画像が位置検出器59へ入力される。
(Seventh Embodiment) An example of an object detection system will be described. FIG. 20 is a diagram showing the configuration of the object detection system according to the seventh embodiment of the present invention. Two omnidirectional imaging devices 1 of any of the above-described first to fourth examples are provided in two spaces, and each omnidirectional imaging device 1 has a position detector 59 similar to that of the third embodiment. The connected omnidirectional images are connected to the position detector 59.

【0083】ある所定のラインを物体検知ラインと設定
した場合、従来の赤外線を用いた検知システムでは、そ
のラインに人間または物体が到達した場合に初めてそれ
を検知する。これに対して、図20に示す本発明の物体
検知システムでは、両全方位撮影器1,1を結ぶライン
(破線で示す)を物体検知ラインとした場合、そのライ
ンに人間または物体が近づいていくときに、そのライン
の手間で事前に人間または物体を検知することが可能で
ある。
When a predetermined line is set as an object detection line, a conventional detection system using infrared rays detects a person or an object only when the line arrives. In contrast, in the object detection system of the present invention shown in FIG. 20, when a line (shown by a broken line) connecting both omnidirectional imaging devices 1 and 1 is an object detection line, a person or an object approaches the line. When going, it is possible to detect a person or an object in advance with the trouble of the line.

【0084】(第8実施の形態)上述した各実施の形態
では、基本的に1個の物体の位置を検出する場合につい
て説明した。この第8実施の形態では、1または複数の
物体、言い換えると何個存在しているかが不明である物
体の位置を経時的に検出するシステムについて、検出対
象を人間とした場合を例にして述べる。
(Eighth Embodiment) In each of the embodiments described above, the case where the position of one object is basically detected has been described. In the eighth embodiment, a system for detecting the position of one or a plurality of objects over time, in other words, the number of objects whose number is unknown is described with reference to a case where a detection target is a human. .

【0085】図21は、本発明の第8実施の形態による
人間追跡システムの構成を示す図である。前述した第1
例〜第4例の何れかの4個の全方位撮影器1が、部屋6
4内の床面から約1mの高さに支持台65に載置された
態様で設けられており、部屋64内のその高さ位置にお
ける全方位の画像を取得する。これらの4個の全方位撮
影器1は、第1実施の形態と同様の位置検出器53に接
続されている。なお、このシステムでは、追跡処理を始
める前に、予め4個の全方位撮影器1の位置及び方位を
測定しておく。
FIG. 21 is a diagram showing a configuration of a human tracking system according to the eighth embodiment of the present invention. The first mentioned above
Any of the four omnidirectional imaging devices 1 of the examples to the fourth example
It is provided on the support base 65 at a height of about 1 m from the floor in the room 4, and acquires an omnidirectional image at that height position in the room 64. These four omnidirectional imaging devices 1 are connected to the same position detector 53 as in the first embodiment. In this system, the positions and orientations of the four omnidirectional imaging devices 1 are measured before starting the tracking process.

【0086】次に、動作について説明する。部屋64内
に設けられた4個の全方位撮影器1にて高さ1mの位置
における全方位の画像が取得され、取得された画像が位
置検出器53へ入力される。位置検出器53において、
各全方位撮影器1での取得画像に基づき、人間が存在す
るか否かが検知され、人間の存在が認識された場合にそ
の位置が検出される。全方位撮影器1は所定環境に固定
されているので、任意の方向に存在する人間を背景差分
によって比較的簡単に認識でき、その画像上の位置から
人間の方位角を求めることができる。
Next, the operation will be described. Omnidirectional images at a height of 1 m are acquired by four omnidirectional imaging devices 1 provided in the room 64, and the acquired images are input to the position detector 53. In the position detector 53,
Based on the image acquired by each omnidirectional camera 1, it is detected whether or not a human is present, and when the presence of a human is recognized, the position is detected. Since the omnidirectional imaging device 1 is fixed in a predetermined environment, a person present in an arbitrary direction can be relatively easily recognized by the background difference, and the azimuth angle of the person can be obtained from the position on the image.

【0087】(第9実施の形態)図22は、広い範囲に
おける1または複数の物体の位置を検出する本発明の第
9実施の形態による位置検出装置の構成を示す図であ
る。位置検出の対象範囲内に、前述した第1例〜第4例
の何れかの多数の全方位撮影器1をマトリックス状に配
設している。このような構成にすることにより、非常に
広い範囲にあっても1または複数の物体の位置を精度良
く検出することができる。
(Ninth Embodiment) FIG. 22 is a diagram showing a configuration of a position detecting device according to a ninth embodiment of the present invention for detecting the positions of one or more objects in a wide range. A large number of omnidirectional imaging devices 1 of any of the above-described first to fourth examples are arranged in a matrix within a range of position detection. With such a configuration, it is possible to accurately detect the position of one or a plurality of objects even in a very wide range.

【0088】(第10実施の形態)複数の全方位撮影器
を用いて物体の位置を検出する本発明にあっては、その
全方位撮影器の数を増やすことによって容易に検出範囲
を広げることが可能であり、また、検出誤差を少なくす
るためには多数の全方位撮影器を設けることが好まし
い。このように全方位撮影器の設置個数を多くした場合
には、取得される全方位画像の数も多くなり、より多数
の全方位画像を、位置検出器53(主制御部53a),
コンピュータ56,位置検出器59(主制御部59a)
等にて処理しなければならなくなる。この結果、実時間
処理を行えなくなる可能性もある。
(Tenth Embodiment) In the present invention in which the position of an object is detected by using a plurality of omnidirectional imaging devices, the detection range can be easily expanded by increasing the number of the omnidirectional imaging devices. It is preferable to provide a large number of omnidirectional imaging devices in order to reduce the detection error. When the number of omnidirectional imaging devices installed is increased in this manner, the number of omnidirectional images acquired also increases, and a larger number of omnidirectional images are acquired by the position detector 53 (main control unit 53a),
Computer 56, position detector 59 (main controller 59a)
And so on. As a result, real-time processing may not be performed.

【0089】第10実施の形態は、このような可能性を
解消するためになされたものであり、物体の位置検出処
理を、1個のデバイスにて集中的に行うのではなく、分
散して並列的に行えるようにする。図23は、本発明の
第10実施の形態による物体位置検出システムの構成を
示す図である。図23にあっては、所定の検出空間に前
述した第1例〜第4例の何れかの4個の全方位撮影器1
が設けられている。これらの4個の各全方位撮影器1に
は夫々位置分散検出器71が付設されている。これらの
4個の位置分散検出器71は、LAN72に接続されて
いる。また、LAN72には、1個の位置中枢検出器7
3が接続されている。
The tenth embodiment has been made in order to eliminate such a possibility, and the object position detection processing is not performed intensively by one device, but is performed in a distributed manner. Be able to do it in parallel. FIG. 23 is a diagram showing the configuration of the object position detection system according to the tenth embodiment of the present invention. In FIG. 23, the four omnidirectional imaging devices 1 of any of the first to fourth examples described above are arranged in a predetermined detection space.
Is provided. Each of these four omnidirectional imaging devices 1 is provided with a position dispersion detector 71. These four position dispersion detectors 71 are connected to a LAN 72. The LAN 72 has one position center detector 7.
3 are connected.

【0090】各位置分散検出器71は、主制御部71
a,ROM71b,RAM71c,ネットインタフェー
ス71dなどを備えている。主制御部71aは、具体的
にはCPUで構成されており、位置分散検出器71内の
上述したようなハードウェア各部を制御すると共に、R
OM71bに格納されたコンピュータプログラムに従っ
て、物体の位置推定における種々のソフトウェア的機能
を実行する。RAM71cは、ソフトウェアの実行時に
発生する一時的なデータを記憶する。ネットインタフェ
ース71dは、LAN72を介して他の位置分散検出器
71,位置中枢検出器73との間でのデータの入出力を
制御する。
Each position variance detector 71 includes a main controller 71
a, a ROM 71b, a RAM 71c, a net interface 71d, and the like. The main control unit 71a is specifically configured by a CPU, controls each of the above-described hardware units in the position dispersion detector 71, and
According to the computer program stored in the OM 71b, various software functions in estimating the position of the object are executed. The RAM 71c stores temporary data generated when executing software. The net interface 71 d controls the input and output of data between the other position dispersion detector 71 and the position center detector 73 via the LAN 72.

【0091】次に、動作について説明する。前述した第
1〜第9実施の形態では、全方位画像の取得(S1)以
外の全ての処理(S2〜S6)を、中枢側の位置検出器
53,コンピュータ56,位置検出器59等にて行って
いるが、この第10実施の形態では、物体の位置検出処
理(S2〜S6)を全方位撮影器1側と中枢側とで分割
して行うこととしている。即ち、物体の位置検出処理に
おける一部の処理(S2〜S4のS44まで)を各位置
分散検出器71で行い、残りの処理(S4のS45以
降)を位置中枢検出器73で行う。この際、処理に必要
な他の全方位撮影器1での検出データ(方位角)は、L
AN72を介して送られる。
Next, the operation will be described. In the above-described first to ninth embodiments, all processes (S2 to S6) other than the acquisition of the omnidirectional image (S1) are performed by the central position detector 53, the computer 56, the position detector 59, and the like. However, in the tenth embodiment, the object position detection processing (S2 to S6) is performed separately for the omnidirectional imaging device 1 and the central side. That is, part of the object position detection processing (from S2 to S44 to S44) is performed by each position dispersion detector 71, and the remaining processing (from S4 to S45) is performed by the position center detector 73. At this time, the detection data (azimuth) of the other omnidirectional camera 1 required for the processing is L
Sent via AN72.

【0092】この第10実施の形態では、物体の位置検
出処理を分散して行うようにしたので、その処理を並列
して行うことができ、多数の全方位撮影器1を設ける場
合にあっても、実時間内での検出処理が可能である。
In the tenth embodiment, since the object position detection processing is performed in a distributed manner, the processing can be performed in parallel. Also, the detection processing can be performed in real time.

【0093】なお、本発明の位置検出方法及び位置検出
装置を適用する幾種類かのシステムに説明したが、それ
らは例示であり、周方向全方位の画像を取得する複数の
全方位撮影器を用いて物体の位置を検出することを利用
する他のシステムも可能であることは勿論である。
Although the description has been given of several types of systems to which the position detecting method and the position detecting device of the present invention are applied, these are merely examples, and a plurality of omnidirectional imaging devices for acquiring images in all directions in the circumferential direction are used. Of course, other systems that utilize the detection of the position of an object are also possible.

【0094】上述した例では、複数の全方位撮影器を用
いて物体の位置を検出する場合について説明したが、本
発明のシステムを利用することにより、任意の位置にあ
る1または複数の物体の像を得ることができるので、そ
の位置情報に加えて、物体の形状,色などの視覚的特徴
を検出することも可能であることは勿論である。そし
て、この視覚的特徴を盛り込むことにより、物体の位置
検出精度をより高めることも可能である。
In the example described above, the case where the position of an object is detected using a plurality of omnidirectional imaging devices has been described. However, by using the system of the present invention, one or more objects at an arbitrary position can be detected. Since an image can be obtained, it is of course possible to detect visual features such as the shape and color of the object in addition to the positional information. By incorporating this visual feature, it is possible to further improve the position detection accuracy of the object.

【0095】(第11実施の形態)ところで、上述した
例では、全方位の画像を取得する全方位撮影器を用いる
場合について説明したが、周方向にわたって広角の範囲
を撮影する複数の広角撮影器を用いても、本発明を同様
に実施できる。図24は、1または複数の物体の位置を
検出する本発明の第11実施の形態による位置検出装置
の構成を示す図である。図24において破線で囲まれた
領域が方形状の検出領域である。検出領域の4隅角部の
近傍には、広角撮影器101が各1個ずつ設けられてい
る。
(Eleventh Embodiment) In the above-described example, a case has been described in which an omnidirectional photographing device for acquiring an omnidirectional image is used. The present invention can be implemented in the same manner by using. FIG. 24 is a diagram showing a configuration of a position detecting device for detecting the positions of one or a plurality of objects according to an eleventh embodiment of the present invention. In FIG. 24, a region surrounded by a broken line is a rectangular detection region. Near the four corners of the detection area, one wide-angle camera 101 is provided.

【0096】広角撮影器101は、ガラスまたはプラス
チック材で構成される透明な筒体110と、筒体110
内に収容されている広角レンズ111及びCCD素子1
12とを有する。広角レンズ111の前方における筒体
110の外周面は一部の光入射部を除いて遮光材113
に覆われている。なお、本例のように筒体110に遮光
材113を設けるのではなく、広角レンズ111の表面
に遮光材を直接設けるようにして、平面内の広角画像を
得るようにしても良い。
The wide-angle photographing device 101 includes a transparent cylinder 110 made of glass or plastic material, and a cylinder 110.
Wide-angle lens 111 and CCD element 1 housed inside
And 12. The outer peripheral surface of the cylindrical body 110 in front of the wide-angle lens 111 has a light shielding material 113 except for a part of the light incident portion.
Covered in. Instead of providing the light-blocking material 113 on the cylindrical body 110 as in this example, the light-blocking material may be provided directly on the surface of the wide-angle lens 111 to obtain a wide-angle image in a plane.

【0097】このような構成により、各広角撮影器10
1は、筒体110の光入射部における所定高さからの光
を広角レンズ111を介してCCD素子112に結像さ
せて、例えば検出領域に存在する2個の物体A,Bを含
む周方向の広角の範囲(90°より少し大きい範囲)の
画像を取得する。撮影するこの広角の範囲は、方形状の
検出領域を完全に含んでいる。
With such a configuration, each wide-angle camera 10
1 focuses light from a predetermined height at a light incident portion of a cylindrical body 110 on a CCD element 112 via a wide-angle lens 111, for example, in a circumferential direction including two objects A and B existing in a detection area. Is obtained in a wide-angle range (a range slightly larger than 90 °). This wide-angle range to be photographed completely includes a rectangular detection area.

【0098】各広角撮影器101は、第1実施の形態と
同様の位置検出器53に接続されており、広角撮影器1
01で取得された所定高さ位置における広角画像が位置
検出器53へ入力される。位置検出器53において、全
方位撮影器1での取得画像に対する処理と同様の処理が
広角撮影器101での取得画像になされて、物体A,B
の位置が検出される。
Each wide-angle photographing device 101 is connected to a position detector 53 similar to that of the first embodiment.
The wide-angle image at the predetermined height position acquired at 01 is input to the position detector 53. In the position detector 53, the same processing as the processing on the image acquired by the omnidirectional imaging device 1 is performed on the image acquired by the wide-angle imaging device 101, and the objects A and B are processed.
Is detected.

【0099】[0099]

【発明の効果】以上のように第1発明の位置検出方法で
は、複数の画像取得手段の夫々により検出対象の物体を
含む周方向の画像を取得し、それらの取得画像に基づい
て物体の位置を検出するようにしたので、全方位を一度
に撮影するため、画像取得手段を駆動する機構は不要で
あり、少数の画像取得手段であっても、物体の特徴
(色,形状など)を用いずに、物体の位置を精度良く検
出することができる。
As described above, in the position detecting method according to the first aspect of the present invention, each of the plurality of image acquiring means acquires a circumferential image including the object to be detected, and the position of the object is determined based on the acquired images. Since the image is detected in all directions, a mechanism for driving the image acquisition means is not required because all directions are photographed at a time. Even with a small number of image acquisition means, the feature (color, shape, etc.) of the object is used. Instead, the position of the object can be accurately detected.

【0100】第2発明の位置検出方法では、物体を含ま
ない基準画像と物体を含む画像との差分画像を求め、そ
の差分画像から物体の位置を検出するようにしたので、
任意の方向に存在する物体を背景差分によって簡単に同
定でき、各画像取得手段に対する物体の方位角を容易に
得ることができる。
According to the position detecting method of the second invention, a difference image between the reference image not including the object and the image including the object is obtained, and the position of the object is detected from the difference image.
An object existing in an arbitrary direction can be easily identified by the background difference, and the azimuth of the object with respect to each image acquisition means can be easily obtained.

【0101】第3発明の位置検出方法では、物体を含む
周方向の画像を経時的に取得して、移動する物体を追跡
するようにしたので、タイムラグが生じない物体の追跡
結果を得ることができる。
In the position detecting method according to the third aspect of the present invention, a moving object is tracked by acquiring an image in the circumferential direction including the object with time, so that a tracking result of the object having no time lag can be obtained. it can.

【0102】第4発明の位置検出方法では、検出誤差と
して、物体への方位角度の誤差及び画像における物体の
見かけの大きさの誤差を考慮して、物体の位置を検出す
るようにしたので、断面が略円形状である人間等のよう
な物体の位置を精度良く検出することができる。
In the position detecting method of the fourth invention, the position of the object is detected in consideration of the error of the azimuth angle to the object and the error of the apparent size of the object in the image. The position of an object such as a human having a substantially circular cross section can be accurately detected.

【0103】第5発明の位置検出装置では、複数の画像
取得手段の夫々により検出対象の物体を含む周方向の画
像を取得し、検出手段によりそれらの取得画像を解析し
て物体の位置を検出するようにしたので、全方位を一度
に撮影するため、画像取得手段を駆動する機構は不要で
あり、少数の画像取得手段を使用するだけでる、物体の
特徴(色,形状など)を用いずに、物体の位置を精度良
く検出することができる。
In the position detecting device according to the fifth aspect of the present invention, a plurality of image obtaining means obtain circumferential images including the object to be detected, and the detecting means analyzes the obtained images to detect the position of the object. Therefore, a mechanism for driving the image acquisition means is not necessary because all directions are photographed at once, and only a small number of image acquisition means can be used without using the features (color, shape, etc.) of the object. In addition, the position of the object can be accurately detected.

【0104】第6発明の位置検出装置では、規制部材に
て規制されない必要な光を、回転対称な形状の光反射体
に反射させた後、撮像器に入射させて、物体を含む画像
を取得するようにしたので、不要な光を規制部材にて規
制するため、不要な平面における画像は得られず、物体
を含む画像を確実に得ることができる。
In the position detecting device according to the sixth aspect of the invention, the necessary light not regulated by the regulating member is reflected by the rotationally symmetric light reflector, and then incident on the image pickup device to obtain an image including the object. Since unnecessary light is regulated by the regulating member, an image on an unnecessary plane cannot be obtained, and an image including an object can be reliably obtained.

【0105】第7発明の視覚的特徴検出方法では、複数
の画像取得手段の夫々により検出対象の物体を含む周方
向の画像を取得し、それらの取得画像を解析して物体の
視覚的特徴(形状,色など)を検出するようにしたの
で、全方位つまり周囲360度の範囲または広角の範囲
を一度に撮影するため、画像取得手段を駆動する機構は
不要であり、少数の画像取得手段であっても、物体の視
覚的特徴を精度良く検出することができる。
In the visual characteristic detecting method according to the seventh aspect of the present invention, a plurality of image obtaining means obtain circumferential images including the object to be detected, and analyze the obtained images to obtain visual characteristics of the object. (Shape, color, etc.) is detected, so that all directions, that is, a 360-degree range or a wide-angle range, are photographed at a time. Therefore, a mechanism for driving the image acquisition means is unnecessary. Even so, the visual characteristics of the object can be accurately detected.

【0106】第8発明のポインティングシステムでは、
被接触体に接触される指示物を含む周方向の画像を複数
の画像取得手段の夫々にて取得し、取得した複数の画像
に基づき検出手段にて指示物による指示位置を検出する
ようにしたので、走査機構,駆動手段を設けることなく
簡単な構成にて位置検出を行うことができる。
In the pointing system of the eighth invention,
Each of the plurality of image acquisition units acquires a circumferential image including the indicator contacted with the contacted object, and the detection unit detects the position indicated by the indicator based on the acquired images. Therefore, position detection can be performed with a simple configuration without providing a scanning mechanism and a driving unit.

【0107】第9発明の監視システムでは、所定の平面
領域における周方向の画像を複数の画像取得手段の夫々
にて取得し、取得した複数の画像に基づき検出手段にて
物体の侵入を検出するようにしたので、走査機構,駆動
手段を設けることなく簡単な構成にて物体の侵入検出を
行うことができる。
In the monitoring system according to the ninth aspect, an image in the circumferential direction in a predetermined plane area is obtained by each of the plurality of image obtaining means, and the detection means detects intrusion of an object based on the obtained plurality of images. With this configuration, the intrusion of an object can be detected with a simple configuration without providing a scanning mechanism and a driving unit.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明で用いる全方位撮影器の第1例の構成を
示す図である。
FIG. 1 is a diagram showing a configuration of a first example of an omnidirectional imaging device used in the present invention.

【図2】本発明で用いる全方位撮影器の第2例の構成を
示す図である。
FIG. 2 is a diagram showing a configuration of a second example of an omnidirectional photographing device used in the present invention.

【図3】本発明で用いる全方位撮影器の第3例の構成を
示す図である。
FIG. 3 is a diagram showing a configuration of a third example of an omnidirectional imaging device used in the present invention.

【図4】本発明で用いる全方位撮影器の第4例の構成を
示す図である。
FIG. 4 is a diagram showing a configuration of a fourth example of an omnidirectional photographing device used in the present invention.

【図5】本発明の物体の位置検出方法の手順を示すフロ
ーチャートである。
FIG. 5 is a flowchart showing a procedure of an object position detection method of the present invention.

【図6】ステレオ視と物体との対応を示す図である。FIG. 6 is a diagram showing a correspondence between stereo vision and an object.

【図7】物体の位置推定の手順(図6のステップS4の
サブルーチン)を示すフローチャートである。
FIG. 7 is a flowchart showing a procedure for estimating the position of an object (subroutine of step S4 in FIG. 6).

【図8】観測誤差を考慮した物体の位置推定の手法の説
明図である。
FIG. 8 is an explanatory diagram of a method of estimating a position of an object in consideration of an observation error.

【図9】観測誤差を考慮した2眼ステレオ視による物体
の位置推定の手法の説明図である。
FIG. 9 is an explanatory diagram of a method of estimating the position of an object by binocular stereo vision in consideration of an observation error.

【図10】3眼ステレオ視による物体の誤検出の状態を
示す図である。
FIG. 10 is a diagram showing a state of erroneous detection of an object by three-lens stereo vision.

【図11】簡略化したN眼ステレオ視による物体の位置
推定の手法の説明図である。
FIG. 11 is an explanatory diagram of a method of estimating the position of an object by simplified N-eye stereo vision.

【図12】簡略化したN眼ステレオ視による物体の位置
推定手法における誤差補正の手法の説明図である。
FIG. 12 is an explanatory diagram of an error correction method in a simplified position estimation method of an object by N-eye stereo vision.

【図13】簡略化したN眼ステレオ視による物体の位置
推定手法における誤差補正の手法の説明図である。
FIG. 13 is an explanatory diagram of an error correction method in a simplified method of estimating an object position by N-eye stereo vision.

【図14】第1実施の形態によるポインティングシステ
ムの構成を示す図である。
FIG. 14 is a diagram showing a configuration of a pointing system according to the first embodiment.

【図15】第2実施の形態によるポインティングシステ
ムの構成を示す図である。
FIG. 15 is a diagram illustrating a configuration of a pointing system according to a second embodiment.

【図16】第3実施の形態による監視システムの構成を
示す図である。
FIG. 16 is a diagram illustrating a configuration of a monitoring system according to a third embodiment.

【図17】第4実施の形態による保全システムの構成を
示す図である。
FIG. 17 is a diagram illustrating a configuration of a maintenance system according to a fourth embodiment.

【図18】第5実施の形態による形状測定システムの構
成を示す図である。
FIG. 18 is a diagram showing a configuration of a shape measuring system according to a fifth embodiment.

【図19】第6実施の形態による演奏システムの構成を
示す図である。
FIG. 19 is a diagram showing a configuration of a performance system according to a sixth embodiment.

【図20】第7実施の形態による物体検知システムの構
成を示す図である。
FIG. 20 is a diagram illustrating a configuration of an object detection system according to a seventh embodiment.

【図21】第8実施の形態による人間追跡システムの構
成を示す図である。
FIG. 21 is a diagram showing a configuration of a human tracking system according to an eighth embodiment.

【図22】第9実施の形態による位置検出装置の構成を
示す図である。
FIG. 22 is a diagram illustrating a configuration of a position detection device according to a ninth embodiment.

【図23】第10実施の形態による物体位置検出システ
ムの構成を示す図である。
FIG. 23 is a diagram illustrating a configuration of an object position detection system according to a tenth embodiment.

【図24】第11実施の形態による位置検出装置の構成
を示す図である。
FIG. 24 is a diagram illustrating a configuration of a position detection device according to an eleventh embodiment.

【符号の説明】[Explanation of symbols]

1,1a,1b,1c 全方位撮影器 10a 光入射部 11 凸面鏡 13 遮光材 16,33 カメラ 19,35 レンズ 20,36,112 CCD素子 21 凹面鏡 31 球面鏡 32a ガイド部 41 線状体 51 パネル 52 指示ペン 53,59 位置検出器 53a,59a,71a 主制御部 53e,59c,71b ROM 54 スクリーン 55 投影器 56 コンピュータ 57 壁面 58 絵画 59f 警報器 101 広角撮影器 111 広角レンズ 1, 1a, 1b, 1c Omnidirectional photographer 10a Light incident part 11 Convex mirror 13 Light shielding material 16, 33 Camera 19, 35 Lens 20, 36, 112 CCD element 21 Concave mirror 31 Spherical mirror 32a Guide part 41 Linear body 51 Panel 52 Instruction Pens 53, 59 Position detectors 53a, 59a, 71a Main controllers 53e, 59c, 71b ROM 54 Screen 55 Projector 56 Computer 57 Wall 58 Painting 59f Alarm 101 Wide-angle camera 111 Wide-angle lens

───────────────────────────────────────────────────── フロントページの続き (72)発明者 前田 武志 京都府相楽郡精華町光台4丁目27番地2 エトワールB101 (72)発明者 大木 信二 大阪府松原市南新町1丁目12番25−609号 (72)発明者 大和 信夫 大阪府大阪市浪速区下寺2−2−18 ヴイ ストン株式会社内 Fターム(参考) 2F065 AA03 BB01 DD02 DD03 FF04 JJ26 LL19 QQ24 QQ31 5B068 AA04 AA22 AA32 BB18 BC05 BD09 BD17 BD25 BE08 CC17 CD06 DE12  ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Takeshi Maeda 4-27-2 Kodai, Seika-cho, Soraku-gun, Kyoto Etoile B101 (72) Inventor Shinji Oki 1-125-609 Minamishinmachi 1-chome, Matsubara-shi, Osaka (72) Inventor Nobuo Yamato 2-2-18 Shimodera, Naniwa-ku, Osaka-shi, Osaka F-term (reference) 2F065 AA03 BB01 DD02 DD03 FF04 JJ26 LL19 QQ24 QQ31 5B068 AA04 AA22 AA32 BB18 BC05 BD09 BD17 BD25 BE08 CC17 CD06 DE12

Claims (9)

【特許請求の範囲】[Claims] 【請求項1】 平面内における1または複数の物体の位
置を検出する方法において、前記平面に対応する位置に
光入射部が設けられている複数の画像取得手段の夫々に
より前記物体を含む周方向の画像を取得し、取得した複
数の画像に基づいて前記物体の位置を検出することを特
徴とする位置検出方法。
1. A method for detecting a position of one or a plurality of objects in a plane, wherein a plurality of image acquiring means provided with a light incident portion at a position corresponding to the plane includes a peripheral direction including the object. A position detection method comprising: obtaining an image of the object; and detecting a position of the object based on the obtained images.
【請求項2】 前記画像取得手段の夫々はその位置が固
定であり、前記画像取得手段の夫々にて取得された前記
物体を含まない周方向の第1画像と、前記画像取得手段
の夫々にて取得された前記物体を含む周方向の第2画像
との差分画像を求め、求めた差分画像に応じて前記物体
の位置を検出する請求項1記載の位置検出方法。
2. The image acquisition device according to claim 1, wherein the position of each of the image acquisition devices is fixed, and the first image in the circumferential direction not including the object acquired by each of the image acquisition devices and the image acquisition device each include: The position detection method according to claim 1, wherein a difference image from a second circumferential image including the object obtained by the calculation is obtained, and a position of the object is detected according to the obtained difference image.
【請求項3】 前記画像取得手段の夫々により周方向の
画像を経時的に取得し、前記物体の経時的な位置を検出
する請求項1または2記載の位置検出方法。
3. The position detecting method according to claim 1, wherein each of the image obtaining means obtains an image in a circumferential direction over time, and detects a position of the object over time.
【請求項4】 前記物体の前記平面による断面形状が略
円形である場合、前記画像取得手段の夫々における前記
物体への方位角度の誤差、及び、前記画像取得手段の夫
々にて取得した前記物体の画像の見かけの大きさの誤差
を考慮して、前記物体の位置を検出する請求項1〜3の
何れかに記載の位置検出方法。
4. When the cross-sectional shape of the object by the plane is substantially circular, an error in the azimuth angle with respect to the object in each of the image acquisition units, and the object acquired by each of the image acquisition units The position detection method according to claim 1, wherein the position of the object is detected in consideration of an error in an apparent size of the image.
【請求項5】 平面内における1または複数の物体の位
置を検出する装置において、前記平面に対応する位置に
設けられており、前記物体を含む周方向の画像を取得す
る複数の画像取得手段と、該画像取得手段の夫々により
取得された複数の画像に基づいて前記物体の位置を検出
する検出手段とを備えることを特徴とする位置検出装
置。
5. An apparatus for detecting a position of one or a plurality of objects in a plane, wherein the apparatus is provided at a position corresponding to the plane and acquires a circumferential image including the object. And a detecting means for detecting a position of the object based on a plurality of images acquired by each of the image acquiring means.
【請求項6】 前記画像取得手段の夫々は、回転対称な
形状を有する光反射体と、該光反射体に対向する位置に
設けられている撮像器と、前記光反射体への光の入射範
囲を規制する規制部材とを含む請求項5に記載の位置検
出装置。
6. Each of the image acquisition means includes a light reflector having a rotationally symmetric shape, an image pickup device provided at a position facing the light reflector, and light incident on the light reflector. The position detecting device according to claim 5, further comprising a regulating member that regulates a range.
【請求項7】 平面内における1または複数の物体の視
覚的特徴を検出する方法において、前記平面に対応する
位置に光入射部が設けられている複数の画像取得手段の
夫々により前記物体を含む周方向の画像を取得し、取得
した複数の画像に基づいて前記物体の視覚的特徴を検出
することを特徴とする視覚的特徴検出方法。
7. A method for detecting a visual characteristic of one or more objects in a plane, wherein the object is included by each of a plurality of image acquisition means provided with a light incident portion at a position corresponding to the plane. A visual feature detection method comprising: acquiring a circumferential image; and detecting a visual feature of the object based on the acquired plurality of images.
【請求項8】 指示物で指示される位置を検出するポイ
ンティングシステムにおいて、前記指示物で接触指示さ
れる被接触体と、該被接触体に接触される前記指示物を
含む周方向の画像を取得する複数の画像取得手段と、該
画像取得手段の夫々により取得された複数の画像に基づ
いて前記指示物による指示位置を検出する検出手段とを
備えることを特徴とするポインティングシステム。
8. A pointing system for detecting a position pointed by an indicator, wherein a contacted object contacted by the indicator and a circumferential image including the indicator contacted by the contacted object are displayed. A pointing system, comprising: a plurality of image acquiring means for acquiring; and a detecting means for detecting a position indicated by the pointer based on a plurality of images acquired by each of the image acquiring means.
【請求項9】 所定の平面領域への物体の侵入を監視す
るシステムにおいて、前記平面領域における周方向の画
像を取得する複数の画像取得手段と、該画像取得手段の
夫々により取得された複数の画像に基づいて前記物体の
侵入を検出する検出手段とを備えることを特徴とする監
視システム。
9. A system for monitoring the intrusion of an object into a predetermined plane area, a plurality of image acquisition means for acquiring images in the circumferential direction in the plane area, and a plurality of image acquisition means acquired by each of the image acquisition means. A monitoring system, comprising: detection means for detecting intrusion of the object based on an image.
JP2000280395A 2000-09-14 2000-09-14 Method and device for detecting position, visual feature detecting method, pointing system and monitoring system Pending JP2002091686A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000280395A JP2002091686A (en) 2000-09-14 2000-09-14 Method and device for detecting position, visual feature detecting method, pointing system and monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000280395A JP2002091686A (en) 2000-09-14 2000-09-14 Method and device for detecting position, visual feature detecting method, pointing system and monitoring system

Publications (1)

Publication Number Publication Date
JP2002091686A true JP2002091686A (en) 2002-03-29

Family

ID=18765241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000280395A Pending JP2002091686A (en) 2000-09-14 2000-09-14 Method and device for detecting position, visual feature detecting method, pointing system and monitoring system

Country Status (1)

Country Link
JP (1) JP2002091686A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277357A (en) * 2005-03-29 2006-10-12 Canon Inc Instructed position recognition device and information input device having the same
JP2008152752A (en) * 2006-12-13 2008-07-03 Lg Phillips Lcd Co Ltd Display device having multi-touch recognition function, and its driving method
JP2010282463A (en) * 2009-06-05 2010-12-16 Newcom Inc Touch panel device
KR101330471B1 (en) 2006-12-15 2013-11-20 엘지디스플레이 주식회사 Display apparatus having muliti-touch recognizing function and driving method thereof

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277357A (en) * 2005-03-29 2006-10-12 Canon Inc Instructed position recognition device and information input device having the same
US7768505B2 (en) 2005-03-29 2010-08-03 Canon Kabushiki Kaisha Indicated position recognizing apparatus and information input apparatus having same
JP4612853B2 (en) * 2005-03-29 2011-01-12 キヤノン株式会社 Pointed position recognition device and information input device having the same
JP2008152752A (en) * 2006-12-13 2008-07-03 Lg Phillips Lcd Co Ltd Display device having multi-touch recognition function, and its driving method
KR101374104B1 (en) * 2006-12-13 2014-03-13 엘지디스플레이 주식회사 Display apparatus having multi-touch recognizing function and driving method thereof
US9552105B2 (en) 2006-12-13 2017-01-24 Lg Display Co., Ltd. Display device having multi-touch recognizing function and driving method thereof
KR101330471B1 (en) 2006-12-15 2013-11-20 엘지디스플레이 주식회사 Display apparatus having muliti-touch recognizing function and driving method thereof
JP2010282463A (en) * 2009-06-05 2010-12-16 Newcom Inc Touch panel device

Similar Documents

Publication Publication Date Title
CN106643699B (en) Space positioning device and positioning method in virtual reality system
JP5123932B2 (en) Camera-equipped 6-degree-of-freedom target measurement device and target tracking device with a rotating mirror
JP5127820B2 (en) Camera-based target coordinate measurement method
JP3960390B2 (en) Projector with trapezoidal distortion correction device
KR101506525B1 (en) Point of gaze detection device, point of gaze detection method, individual parameter computation device, individual parameter computation method, program, and computer-readable recording medium
US7856172B2 (en) Jiggle measuring system and jiggle measuring method
EP3421930B1 (en) Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method
JP3494075B2 (en) Self-locating device for moving objects
JP2006352851A (en) Method and device for acquiring image of scene using composite camera
JP2012063350A (en) Positioning processing device, positioning processing method, image processing device, and image processing method
JP2009031295A (en) Mobile object posture detection device
US20190374289A1 (en) Surgical Navigation System
CN109982038A (en) Show the method, apparatus and computer equipment of sound source position
JP6669182B2 (en) Occupant monitoring device
JP2016092693A (en) Imaging apparatus, imaging apparatus control method, and program
KR101452342B1 (en) Surveillance Camera Unit And Method of Operating The Same
JP2001148025A (en) Device and method for detecting position, and device and method for detecting plane posture
JP2010217984A (en) Image detector and image detection method
WO2022014305A1 (en) Multi-pinhole camera and image identification system
JP2002091686A (en) Method and device for detecting position, visual feature detecting method, pointing system and monitoring system
JP2001066138A (en) Measuring system, and prism-type optical path control used for it
JP2007010419A (en) Three-dimensional shape of object verifying system
US10403002B2 (en) Method and system for transforming between physical images and virtual images
JPH1149100A (en) Apron monitor
JP2007264402A (en) Omniazimuth visual sensor