JP2005234224A - All azimuth imaging system - Google Patents

All azimuth imaging system Download PDF

Info

Publication number
JP2005234224A
JP2005234224A JP2004043320A JP2004043320A JP2005234224A JP 2005234224 A JP2005234224 A JP 2005234224A JP 2004043320 A JP2004043320 A JP 2004043320A JP 2004043320 A JP2004043320 A JP 2004043320A JP 2005234224 A JP2005234224 A JP 2005234224A
Authority
JP
Japan
Prior art keywords
camera
imaging system
image
omnidirectional
mirrors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004043320A
Other languages
Japanese (ja)
Other versions
JP4554954B2 (en
Inventor
Yasushi Yagi
康史 八木
Tomio Echigo
富夫 越後
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2004043320A priority Critical patent/JP4554954B2/en
Publication of JP2005234224A publication Critical patent/JP2005234224A/en
Application granted granted Critical
Publication of JP4554954B2 publication Critical patent/JP4554954B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an all azimuth imaging system capable of attaining the correspondence of objects between stereoscopic images with simple processing. <P>SOLUTION: The system is provided with an all azimuth camera, a gyro-sensor, a portable PC (personal computer) and a video server. The all azimuth camera is provided with an all azimuth mirror 32 capable of reflecting light incident from all the directions of 360° and a camera. Regarding the all azimuth mirror 32, six small semi-spherical mirrors 32b are integrally formed on a semi-spherical mirror 32a. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、全方位撮像システムに関し、特に、低コストで画像と距離情報とを同時に獲得することが可能な全方位撮像システムに関する。   The present invention relates to an omnidirectional imaging system, and more particularly to an omnidirectional imaging system capable of simultaneously acquiring images and distance information at low cost.

従来、人の周辺環境を監視したり、犯罪を防止したりするために携帯可能な監視カメラや、定点監視カメラなどの研究開発が進められている。
このような人の周辺環境を監視する監視カメラの役割は、人が気付かない視野に現れた対象物の発見および記録にある。人は、前方視野は自身の視覚によって注意しているが、無意識下では、側方および後方視野の情報を獲得していない。このため、人の視覚外から急に現れる悪意を持った犯罪者、または悪意はなくても不注意で衝突する加害者に対し、事前に衝突を検知し、回避または対処することで、事故または事件を未然に防止することができる。
Conventionally, research and development of portable surveillance cameras and fixed point surveillance cameras have been promoted in order to monitor the surrounding environment of people and prevent crimes.
The role of the surveillance camera for monitoring the surrounding environment of such a person is to find and record the object that appears in the field of view that the person does not notice. A person is aware of the front vision by his vision, but unconsciously has not acquired information on the side and rear vision. For this reason, a malicious criminal who suddenly appears from outside the human eye, or a perpetrator who collides inadvertently even if it is not malicious, can detect an accident in advance and avoid or deal with it. The incident can be prevented in advance.

このような側方および後方を含む広角視野情報の獲得のために全方位カメラが開発されており、側方視野を意識した反射光学系に関する研究が、ロボティクスの分野で活発に研究されている。全方位カメラの特徴として周囲360度の側方画像を、一度の撮影で獲得できる点にある。
このように、全方位を観測できる利点を生かし、全方位カメラを遠隔テレビ会議に利用したり(例えば、非特許文献1参照。)、全方位カメラを定点監視カメラとして用い、広範囲の監視や、移動物体の追跡またはイベント抽出などに利用したりする試みがある(例えば、非特許文献2参照。)。
An omnidirectional camera has been developed to acquire such wide-angle field of view information including the side and the back, and studies on reflective optical systems that are conscious of the side field of view are being actively studied in the field of robotics. A feature of the omnidirectional camera is that a side image of 360 degrees around can be acquired by one shooting.
In this way, taking advantage of omnidirectional observation, the omnidirectional camera can be used for remote video conference (for example, see Non-Patent Document 1), the omnidirectional camera can be used as a fixed point monitoring camera, There are attempts to use it for tracking a moving object or extracting an event (for example, see Non-Patent Document 2).

また、ロボティクスの応用として提案された様々な技術の一つとして、全方位カメラを用いて、全方位の奥行き情報を観測する手法がある。この手法では曲面を有する2つのミラーをカメラの光軸上に重ね合わせている。これにより、1台のカメラで得られた入力画像から、全方位の奥行き距離を実時間で計測することができる(例えば、非特許文献3参照。)。対象物の奥行き距離はステレオ法の対応関係から求められるが、対象物の偽対応など対応関係を求めるには困難な問題がある。このような対応づけを簡便にするために、投票(ボーティング)と呼ばれる手法が存在する。さらに移動カメラで捉えた複数枚の画像を時空間に並べ、その軌跡をEPI(Epipolar Plane Image)と称する平面で切断し軌跡から距離情報を得る手法が存在する。
Nishihara, T., Yabe, H., and Oka, R., "Indexing of Human Motion at Meeting Room by Analyzing Time-varying Images of Omni-directional Camera," Proc. 4th ACCV, vol. I, pp. 1-4, 2000. Onoe, Y., Yokoya, Y., Yamazawa, K., and Takemura, H., "Visual Surveillance and Monitoring System Using an Omnidirectional Video Camera," Proc. 14th ICPR, vol. I, pp. 588-592, 1998. Southwell, D., Reyda, J., Fiale, M., and Basu, A., "Panoramic Stereo," Proc. ICPR, 1996.
In addition, as one of various technologies proposed as an application of robotics, there is a method of observing omnidirectional depth information using an omnidirectional camera. In this method, two mirrors having curved surfaces are superimposed on the optical axis of the camera. Thereby, the depth distance of all directions can be measured in real time from the input image obtained with one camera (for example, refer nonpatent literature 3). The depth distance of the object is obtained from the correspondence of the stereo method, but there is a problem that it is difficult to obtain the correspondence such as false correspondence of the object. In order to simplify such association, there is a technique called voting. Furthermore, there is a technique in which a plurality of images captured by a moving camera are arranged in time and space, and the trajectory is cut along a plane called EPI (Epipolar Plane Image) to obtain distance information from the trajectory.
Nishihara, T., Yabe, H., and Oka, R., "Indexing of Human Motion at Meeting Room by Analyzing Time-varying Images of Omni-directional Camera," Proc. 4th ACCV, vol. I, pp. 1- 4, 2000. Onoe, Y., Yokoya, Y., Yamazawa, K., and Takemura, H., "Visual Surveillance and Monitoring System Using an Omnidirectional Video Camera," Proc. 14th ICPR, vol. I, pp. 588-592, 1998 . Southwell, D., Reyda, J., Fiale, M., and Basu, A., "Panoramic Stereo," Proc. ICPR, 1996.

上述のように、全周囲を観測するには全方位カメラが有効である。しかしながら、画像と距離情報(奥行き情報)とを同時に獲得するには、複数の全方位カメラが必要になり、コスト的に問題がある。
また、距離情報を得るために、複数の全方位画像より得られるステレオ画像間で、対象物の対応付けを行わなければならないが、処理が複雑であるという問題がある。
As described above, an omnidirectional camera is effective for observing the entire periphery. However, in order to obtain images and distance information (depth information) simultaneously, a plurality of omnidirectional cameras are required, which is problematic in terms of cost.
In addition, in order to obtain distance information, it is necessary to associate objects between stereo images obtained from a plurality of omnidirectional images, but there is a problem that processing is complicated.

さらに、その様子を記録した映像は、事故または事件の状況証拠となるが、周囲を全て撮影した映像を常時記録するにはコスト面で問題がある。このため、カメラに近づく対象物を検知し、対象物が写る画像だけを切り出して記録する要求がある。   Furthermore, the video recording the situation is evidence of the situation of the accident or incident, but there is a problem in terms of cost to always record the video of the entire surroundings. For this reason, there is a request for detecting an object approaching the camera and cutting out and recording only an image in which the object is captured.

また、従来の全方位カメラの遠隔テレビ会議や定点監視への応用では、遠隔地のユーザが、会議の様子を知りたい場所や、監視場所等の切り出す場所をインタラクティブに指定する必要がある。その後、指定された場所の透視投影映像(通常のカメラで見た映像)がユーザに提示されている。しかし、人の周辺環境への監視への適用を考えた場合には、対象物がどの方向から出現するかが分からず、切り出し場所をインタラクティブには指定することができない。このため、実時間で透視投影映像を生成することができない。   In addition, in the application of the conventional omnidirectional camera to remote video conference and fixed point monitoring, it is necessary for a remote user to interactively specify a location where the user wants to know the state of the conference and a location to be monitored. Thereafter, a perspective projection image (image viewed with a normal camera) of the designated place is presented to the user. However, when considering application to monitoring of a person's surrounding environment, it is not known from which direction the object appears, and the cutout location cannot be specified interactively. For this reason, a perspective projection image cannot be generated in real time.

また、非特許文献3のように曲面を有する2つのミラーをカメラの光軸上に重ね合わせた全方位カメラは存在する。しかし、2つの視点から観測された画像より三角測量の原理を用いてステレオ視した場合には、偽の対応が起こるという問題点が知られている(例えば、M.Yachida, Y.Kitamura, M.Kimachi, "Trinocular vision: New approach for correspondence problem," Proc. 8th Int'l Conf. Pattern Recognition, pp.1041-1044, 1986)。   Moreover, there exists an omnidirectional camera in which two mirrors having curved surfaces are superimposed on the optical axis of the camera as in Non-Patent Document 3. However, there is a known problem that a false correspondence occurs when stereo viewing is performed using the triangulation principle from images observed from two viewpoints (for example, M. Yachida, Y. Kitamura, M Kimachi, "Trinocular vision: New approach for correspondence problem," Proc. 8th Int'l Conf. Pattern Recognition, pp.1041-1044, 1986).

本発明は、上述の課題を解決するためになされたもので、低コストで画像と距離情報とを獲得することが可能な全方位撮像システムを提供することを目的とする。
また、簡便な処理でステレオ画像間の対象物の対応付けを行なうことができる全方位撮像システムを提供することも目的とする。
さらに、低コストで対象物の画像を記録することができる全方位撮像システムを提供することも目的とする。
The present invention has been made to solve the above-described problems, and an object thereof is to provide an omnidirectional imaging system capable of acquiring an image and distance information at a low cost.
It is another object of the present invention to provide an omnidirectional imaging system capable of associating objects between stereo images with simple processing.
It is another object of the present invention to provide an omnidirectional imaging system that can record an image of an object at low cost.

さらにまた、実時間で逆透視投影映像を生成することが可能な全方位撮像システムを提供することも目的とする。
さらにまた、対象物の偽対応を起こすことなく、正確な対象物の三次元位置を特定することができる全方位撮像システムを提供することも目的とする。
It is another object of the present invention to provide an omnidirectional imaging system capable of generating a reverse perspective projection image in real time.
It is another object of the present invention to provide an omnidirectional imaging system capable of specifying an accurate three-dimensional position of an object without causing false correspondence of the object.

上記目的を達成するために、本発明に係る全方位撮像システムは、各々周囲360度の光を反射可能な形状を有する3つ以上のミラーと、前記3つ以上のミラーで反射される光を撮像する1つのカメラとを備えている。
1台のカメラで3つ以上のミラーで反射される光を撮像している。3つ以上のミラーで反射された画像間で対応付けを行なうことにより距離情報を得ることができる。このため、低コストで画像と距離情報とを獲得することが可能な全方位撮像システムを提供することができる。
In order to achieve the above object, an omnidirectional imaging system according to the present invention includes three or more mirrors each having a shape capable of reflecting 360 degrees of surrounding light, and light reflected by the three or more mirrors. And a single camera for imaging.
A single camera captures light reflected by three or more mirrors. Distance information can be obtained by associating images reflected by three or more mirrors. For this reason, the omnidirectional imaging system which can acquire an image and distance information at low cost can be provided.

好ましくは、上述の全方位撮像システムは、さらに、前記3つ以上のミラーから、2つのミラーの組み合わせを抽出するミラー組み合わせ抽出手段と、前記ミラー組み合わせ抽出手段で抽出されたミラーの組み合わせの各々について、前記カメラで撮像された画像中より得られる当該組み合わせに含まれる2つのミラーでの反射映像と前記2つのミラーの基線長とに基づいて、対象物までの距離を算出する距離算出手段とを備える。   Preferably, the omnidirectional imaging system further includes a mirror combination extraction unit that extracts a combination of two mirrors from the three or more mirrors, and each of the mirror combinations extracted by the mirror combination extraction unit. A distance calculating means for calculating a distance to the object based on the reflected images of the two mirrors included in the combination obtained from the image captured by the camera and the baseline length of the two mirrors; Prepare.

3つ以上のミラーから得られる画像に基づいて、対象物までの距離を算出している。このため、対象物の偽対応を起こすことなく、正確な対象物の三次元位置を特定することができる全方位撮像システムを提供することができる。
さらに好ましくは、上述の全方位撮像システムは、さらに、前記対象物までの距離に基づいて、前記対象物が前記カメラを中心とする所定の半径を有する仮想球面内に侵入したか否かを判定する判定手段と、前記対象物が前記仮想球面内に侵入した場合に、警告を発する警告発生手段とを備える。
The distance to the object is calculated based on images obtained from three or more mirrors. Therefore, it is possible to provide an omnidirectional imaging system that can specify an accurate three-dimensional position of an object without causing false correspondence of the object.
More preferably, the above-described omnidirectional imaging system further determines whether or not the object has entered a virtual sphere having a predetermined radius centered on the camera, based on the distance to the object. And a warning generation means for issuing a warning when the object has entered the phantom spherical surface.

この構成によると、仮想球面内に侵入した対象物に対して警告を発し、注意を促すことが可能になる。このため、事故や事件等を未然に防止することができる。   According to this configuration, it is possible to issue a warning and call attention to an object that has entered the virtual spherical surface. For this reason, accidents and incidents can be prevented in advance.

また、上述の全方位撮像システムは、さらに、前記カメラで撮像された画像に含まれる前記3つ以上のミラーでの反射画像の各々に基づいて、前記カメラから対象物への視線方向を求める視線方向取得手段と、前記カメラを中心とし、所定の大きさのボクセルで区切られた仮想的な球を生成する仮想球生成手段と、前記視線方向取得手段で求められた視線と交差するボクセルに投票をする投票手段と、投票結果に基づいて、所定のしきい値以上の投票が行なわれたボクセルに基づいて、対象物の三次元位置を特定する三次元位置特定手段とを備えていてもよい。   The omnidirectional imaging system further includes a line of sight for obtaining a line-of-sight direction from the camera to an object based on each of the reflected images of the three or more mirrors included in an image captured by the camera. Vote for direction acquisition means, virtual sphere generation means for generating a virtual sphere centered on the camera and divided by voxels of a predetermined size, and voxels intersecting the line of sight obtained by the line-of-sight direction acquisition means A voting unit that performs the voting, and a three-dimensional position specifying unit that specifies a three-dimensional position of the object based on a voxel that has been voted above a predetermined threshold based on a voting result. .

投票の対象となるボクセルの位置を仮想的な球内に限定し、カメラからの視線と交差するボクセルの投票を行なうことに、投票の多いボクセルの位置を対象物の存在位置としている。このため、簡便な処理でステレオ画像間の対象物の対応付けを行なうことができる全方位撮像システムを提供することができる。   The position of a voxel subject to voting is limited to a virtual sphere, and a voxel that intersects the line of sight from the camera is voted as the position where the object exists. For this reason, the omnidirectional imaging system which can perform the matching of the target object between stereo images by simple processing can be provided.

一般的に、投票を行なう際には、対象物の周辺に複数の視点を設け、当該視点から対象物に対する視線方向への投票を行なっている。これは、カメラを中心に設置し、全周囲の方向へ投票すると投票対象位置が無限に広がってしまうからである。よって、何らかの方法でボーティングする空間を狭めなければならない。   In general, when voting, a plurality of viewpoints are provided around an object, and voting is performed from the viewpoint in the line-of-sight direction with respect to the object. This is because if the camera is installed in the center and the vote is made in the direction of the entire circumference, the voting target position will spread infinitely. Therefore, the space for voting must be narrowed by some method.

この構成では、投票の対象空間を仮想的な球内に制限している。このため、カメラを中心に配置した投票を可能にしている。   In this configuration, the target space for voting is limited to a virtual sphere. For this reason, voting with the camera at the center is possible.

さらに好ましくは、上述の全方位撮像システムは、さらに、前記カメラで撮像された画像に含まれる前記3つ以上のミラーでの反射画像の各々に基づいて、前記カメラから対象物への視線方向を求める視線方向取得手段と、前記カメラの周辺に所定の大きさのセルで区切られた仮想的な球表面を生成する仮想球表面生成手段と、前記視線方向取得手段で求められた視線と交差するセルに投票をする投票手段と、投票結果に基づいて、所定のしきい値以上の投票が行なわれたセルに基づいて、対象物の三次元位置を特定する三次元位置特定手段とを備えていてもよい。   More preferably, the above-mentioned omnidirectional imaging system further determines the line-of-sight direction from the camera to the object based on each of the reflected images from the three or more mirrors included in the image captured by the camera. Intersects with the gaze direction obtained by the gaze direction obtaining means, virtual sphere surface generation means for producing a virtual sphere surface divided by cells of a predetermined size around the camera, and the gaze obtained by the gaze direction obtaining means Voting means for voting on a cell, and three-dimensional position specifying means for specifying a three-dimensional position of an object based on a cell on which voting of a predetermined threshold value or more is performed based on a voting result May be.

投票位置を仮想的な球表面のセルに限定している。このため、ボクセルに投票をする場合に比べ、投票箇所が少ない。このため、さらに簡便な処理でステレオ画像間の対象物の対応付けを行なうことができる全方位撮像システムを提供することができる。   The voting position is limited to a virtual sphere surface cell. For this reason, there are few voting locations compared with the case of voting on a voxel. For this reason, the omnidirectional imaging system which can perform the matching of the target object between stereo images by a further simple process can be provided.

さらに好ましくは、上述の全方位撮像システムは、さらに、前記対象物の三次元位置に基づいて、前記対象物が前記カメラを中心とする所定の半径を有する仮想球面内に侵入したか否かを判定する判定手段と、前記対象物が前記仮想球面内に侵入した場合に、前記カメラで撮像された画像に基づいて、前記対象物を通常のカメラから見た画像へ透視投影変換し、透視投影変換後の画像をユーザに提示する透視投影変換手段とを備える。   More preferably, the above-mentioned omnidirectional imaging system further determines whether or not the object has entered a virtual sphere having a predetermined radius centered on the camera based on the three-dimensional position of the object. A determination unit for determining, and when the object has entered the virtual spherical surface, based on an image captured by the camera, the object is perspective-projected and converted to an image viewed from a normal camera; Perspective projection conversion means for presenting the converted image to the user.

投票という簡便な方法により対象物の三次元位置が求められている。このため、カメラから対象物への視線方向も即座に求めることができる。よって、実時間で逆透視投影映像(通常のカメラから見た映像)を生成することが可能な全方位撮像システムを提供することができる。   The three-dimensional position of the object is obtained by a simple method called voting. For this reason, the line-of-sight direction from the camera to the object can also be obtained immediately. Therefore, it is possible to provide an omnidirectional imaging system capable of generating a reverse perspective projection video (video viewed from a normal camera) in real time.

さらに好ましくは、上述の全方位撮像システムは、さらに、前記透視投影変換後の画像を記録する記録手段を備える。   More preferably, the above-described omnidirectional imaging system further includes recording means for recording the image after the perspective projection conversion.

逆透視投影映像のみを記録することができるため、カメラで撮像された生の画像を記録する場合に比べ、低コストで対象物の画像を記録することができる全方位撮像システムを提供することができる。   Provided is an omnidirectional imaging system capable of recording an image of an object at a lower cost than when recording a raw image captured by a camera because only a reverse perspective projection image can be recorded. it can.

さらに好ましくは、上述の全方位撮像システムは、さらに、前記カメラで撮像された画像に含まれる前記3つ以上のミラーでの反射画像を一列に並べ立体画像を生成する立体画像生成手段と、前記立体画像中より曲線を抽出する曲線抽出手段と、前記曲線抽出手段での抽出結果に基づいて、前記カメラから所定の距離内に対象物が存在するか否かを判断する判断手段とを備えていてもよい。好ましくは、前記曲線抽出手段は、前記立体画像中より直線を除去する除去部と、直線が除去された前記立体画像中より曲線を抽出する抽出部とを有することを特徴とする。   More preferably, the above-mentioned omnidirectional imaging system further includes a stereoscopic image generating unit that generates a stereoscopic image by arranging the reflection images of the three or more mirrors included in the image captured by the camera in a line, and Curve extraction means for extracting a curve from the stereoscopic image, and determination means for determining whether or not an object exists within a predetermined distance from the camera based on the extraction result of the curve extraction means. May be. Preferably, the curve extracting means includes a removing unit that removes a straight line from the stereoscopic image, and an extracting unit that extracts a curve from the stereoscopic image from which the straight line has been removed.

画像間で視差が生じる場合、すなわち対象物がカメラの近傍に存在する場合には、立体画像中で対象物が曲線として抽出されるという性質を利用して、対象物が近傍に存在するか否かを判断している。このため、簡便な方法により対象物までの距離を計測することができる。   If parallax occurs between images, that is, if the object is in the vicinity of the camera, whether or not the object exists in the vicinity using the property that the object is extracted as a curve in the stereoscopic image Judgment. For this reason, the distance to a target object can be measured by a simple method.

さらに好ましくは、上述の全方位撮像システムは、さらに、前記カメラの傾きを検出する傾き検出手段と、前記カメラの傾きに基づいて、前記カメラで撮像される映像の傾きを補正する傾き補正手段とを備える。   More preferably, the omnidirectional imaging system further includes an inclination detection unit that detects the inclination of the camera, and an inclination correction unit that corrects an inclination of an image captured by the camera based on the inclination of the camera. Is provided.

ジャイロセンサ等の傾き検出手段により検出されるカメラの傾きに基づいて、前記カメラで撮像される映像の傾きを補正することにより、カメラに振動等が加わった場合であっても、対象物までの正確な距離または対象物の正確な三次元位置を求めることができる。   By correcting the tilt of the image captured by the camera based on the tilt of the camera detected by the tilt detection means such as a gyro sensor, even if the camera is subjected to vibration or the like, An exact distance or an exact 3D position of the object can be determined.

上述したような全方位撮像システムを用いることにより、以下のような効果をも奏する。すなわち、街の定点監視カメラに防犯を依存すると、カメラの視線を遮る障害物が多くある場合には、設置台数を増やしても死角が生じやすい。このため、カメラの配置位置の決定が困難であった。また、定点監視カメラには、プライバシー侵害の問題もある。そこで防犯においても、小型カメラを個人が持ち歩くことで、ユーザの自発的な撮影において、ユーザ個人の近接領域を常に監視することが可能となり、他人のプライバシーを過度に侵害せずに、防犯に対する効果を実現することができる。   By using the omnidirectional imaging system as described above, the following effects can also be obtained. In other words, depending on crime prevention for fixed-point surveillance cameras in the city, if there are many obstacles that block the camera's line of sight, blind spots are likely to occur even if the number of installed cameras is increased. For this reason, it is difficult to determine the arrangement position of the camera. Also, fixed-point surveillance cameras have a privacy infringement problem. Therefore, even in crime prevention, it is possible for an individual to carry a small camera, so that it is possible to constantly monitor the proximity area of the individual user, and the effect on crime prevention without excessively infringing on the privacy of others. Can be realized.

以上説明したように、本発明によると、低コストで画像と距離情報とを獲得することが可能な全方位撮像システムを提供することができる。
また、簡便な処理でステレオ画像間の対象物の対応付けを行なうことができる全方位撮像システムを提供することもできる。
As described above, according to the present invention, it is possible to provide an omnidirectional imaging system capable of acquiring an image and distance information at a low cost.
It is also possible to provide an omnidirectional imaging system that can associate objects between stereo images with simple processing.

さらに、低コストで対象物の画像を記録することができる全方位撮像システムを提供することもできる。   Furthermore, it is possible to provide an omnidirectional imaging system that can record an image of an object at low cost.

さらにまた、実時間で逆透視投影映像を生成することが可能な全方位撮像システムを提供することもできる。
さらにまた、対象物の偽対応を起こすことなく、正確な対象物の三次元位置を特定することができる全方位撮像システムを提供することもできる。
Furthermore, it is possible to provide an omnidirectional imaging system capable of generating a reverse perspective projection image in real time.
Furthermore, it is possible to provide an omnidirectional imaging system capable of specifying an accurate three-dimensional position of an object without causing false correspondence of the object.

以下、図面を参照しながら本発明の実施の形態に係る全方位撮像システムについて説明する。
図1は、本発明の実施の形態に係る全方位撮像システムのハードウェア構成を示すブロック図である。全方位撮像システム20は、全方位カメラ22と、ジャイロセンサ24と、ポータブルPC(Personal Computer)26と、ビデオサーバ28とを備えている。
Hereinafter, an omnidirectional imaging system according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a hardware configuration of an omnidirectional imaging system according to an embodiment of the present invention. The omnidirectional imaging system 20 includes an omnidirectional camera 22, a gyro sensor 24, a portable PC (Personal Computer) 26, and a video server 28.

全方位カメラ22は、周囲360度の映像を一度に撮像可能なカメラである。全方位カメラ22の詳細については後述する。ジャイロセンサ24は、全方位カメラ22の傾きを検出するためのセンサである。ポータブルPC26は、ジャイロセンサ24で検出された全方位カメラ22の傾きに基づいて、全方位カメラ22で撮像される映像の傾きを補正し、映像切り出しを行う。また、ポータブルPC26は、無線ネットワーク等によりビデオサーバ28に接続され、ビデオサーバ28に切り出された映像を送信する。さらに、ビデオサーバ28から得られた監視の判断結果に基づいて、アラームを出力したりする。さらにまた、ビデオサーバ28から得られる画像を表示したりする。   The omnidirectional camera 22 is a camera that can capture an image of 360 degrees around. Details of the omnidirectional camera 22 will be described later. The gyro sensor 24 is a sensor for detecting the tilt of the omnidirectional camera 22. Based on the tilt of the omnidirectional camera 22 detected by the gyro sensor 24, the portable PC 26 corrects the tilt of the video imaged by the omnidirectional camera 22 and cuts out the video. The portable PC 26 is connected to the video server 28 via a wireless network or the like, and transmits the cut image to the video server 28. Further, an alarm is output based on the monitoring judgment result obtained from the video server 28. Furthermore, an image obtained from the video server 28 is displayed.

ビデオサーバ28は、無線ネットワーク等によりポータブルPC26に接続され、ビデオサーバ28より受信した映像を解析し、全方位カメラ22の周囲に対象物が侵入したか否かの判断を行ったり、対象物の画像を生成したりする。ビデオサーバ28は、その判断結果や対象物の画像をポータブルPC26に送信する。   The video server 28 is connected to the portable PC 26 via a wireless network or the like, analyzes the video received from the video server 28, determines whether or not an object has entered the periphery of the omnidirectional camera 22, and Or generate an image. The video server 28 transmits the determination result and the image of the object to the portable PC 26.

図2は、全方位カメラ22の構成を示す外観図である。全方位カメラ22は、全方位ミラー32と、カメラ34とを備えている。全方位ミラー32は、周囲360°の方向から入射した光を反射するミラーである。全方位ミラー32の詳細については後述する。カメラ34は、全方位ミラー32で反射された画像を撮像する。   FIG. 2 is an external view showing the configuration of the omnidirectional camera 22. The omnidirectional camera 22 includes an omnidirectional mirror 32 and a camera 34. The omnidirectional mirror 32 is a mirror that reflects light incident from the direction of 360 ° around. Details of the omnidirectional mirror 32 will be described later. The camera 34 captures an image reflected by the omnidirectional mirror 32.

図3は、全方位カメラ22およびジャイロセンサ24の設置位置の一例を示す図である。図3に示すように、全方位カメラ22およびジャイロセンサ24を自動車の天井に設置し、周囲からの接近車や接近者等を監視するようにしてもよい。   FIG. 3 is a diagram illustrating an example of the installation positions of the omnidirectional camera 22 and the gyro sensor 24. As shown in FIG. 3, an omnidirectional camera 22 and a gyro sensor 24 may be installed on the ceiling of an automobile to monitor approaching vehicles and approaching persons from the surroundings.

図4は、全方位カメラ22およびジャイロセンサ24の設置位置の他の一例を示す図である。図4に示すように、ショルダーバッグの肩位置に全方位カメラ22およびジャイロセンサ24を設置し、周囲からの接近者等を監視するようにしてもよい。   FIG. 4 is a diagram illustrating another example of the installation positions of the omnidirectional camera 22 and the gyro sensor 24. As shown in FIG. 4, an omnidirectional camera 22 and a gyro sensor 24 may be installed at the shoulder position of the shoulder bag to monitor an approaching person from the surroundings.

図5は、全方位カメラ22およびジャイロセンサ24の設置位置のさらに他の一例を示す図である。図5に示すように、ランドセルに全方位カメラ22およびジャイロセンサ24を設置し、周囲からの接近者等を監視するようにしてもよい。   FIG. 5 is a diagram showing still another example of the installation positions of the omnidirectional camera 22 and the gyro sensor 24. As shown in FIG. 5, an omnidirectional camera 22 and a gyro sensor 24 may be installed in the school bag to monitor an approaching person from the surroundings.

図6は、全方位カメラ22およびジャイロセンサ24の設置位置のさらに他の一例を示す図である。図6に示すように、帽子に全方位カメラ22およびジャイロセンサ24を設置し、周囲からの接近者等を監視するようにしてもよい。   FIG. 6 is a diagram showing still another example of the installation positions of the omnidirectional camera 22 and the gyro sensor 24. As shown in FIG. 6, an omnidirectional camera 22 and a gyro sensor 24 may be installed on the cap to monitor an approaching person from the surroundings.

図7は、全方位カメラ22およびジャイロセンサ24の設置位置のさらに他の一例を示す図である。図7に示すように、バイクに全方位カメラ22およびジャイロセンサ24を設置し、周囲からの接近物等を監視するようにしてもよい。なお、ポータブルPC26を運転者の視認可能な位置に置くことにより、運転者は、側方や後方の接近者等を監視することができる。   FIG. 7 is a diagram illustrating yet another example of the installation positions of the omnidirectional camera 22 and the gyro sensor 24. As shown in FIG. 7, an omnidirectional camera 22 and a gyro sensor 24 may be installed on a motorcycle to monitor an approaching object from the surroundings. By placing the portable PC 26 at a position where the driver can visually recognize the driver, the driver can monitor the side and rear approaching persons.

図8は、全方位ミラー32の構成を示す外観図であり、(a)は側面図であり、(b)は底面図である。全方位ミラー32は、半円球形状のミラー32a上に6つの小さな半円球形状のミラー32bが一体形成されている。
このように、ユーザは超小型化された全方位カメラ22およびジャイロセンサ24を携帯することにより、獲得した情報から、接近する未確認対象物の存在を事前に知らされる。また、ポータブルPC26は、注意を促す表示システムを併せ持つ。全方位カメラで獲得した映像はユーザを中心として、全方向に広がりをもつが、ユーザから距離が離れると解像度が低下するため、判別が困難になる。しかし、ユーザ近傍では解像度が高く、認知可能な映像が得られる。
8A and 8B are external views showing the configuration of the omnidirectional mirror 32, where FIG. 8A is a side view and FIG. 8B is a bottom view. In the omnidirectional mirror 32, six small semispherical mirrors 32b are integrally formed on a semicircular mirror 32a.
In this way, the user is informed in advance of the presence of an unconfirmed object to be approached from the acquired information by carrying the omnidirectional camera 22 and the gyro sensor 24 that are miniaturized. The portable PC 26 also has a display system that calls attention. The video acquired by the omnidirectional camera spreads in all directions with the user as the center, but the resolution decreases as the distance from the user increases, making discrimination difficult. However, in the vicinity of the user, a high-resolution and recognizable video can be obtained.

また、上述のように、複数の半円球状のミラー32bを用いて、全方位ミラー32を形成している。このため、複数のカメラを用いた立体視と同様に、対象物の距離を検出することができる。図8に示したように、それぞれのミラー32bの曲面中心を結ぶ距離が基線長となり、それぞれのミラー32b間で視差が発生する。   Further, as described above, the omnidirectional mirror 32 is formed using a plurality of semicircular spherical mirrors 32b. For this reason, the distance of a target object can be detected similarly to the stereoscopic vision using a some camera. As shown in FIG. 8, the distance connecting the center of the curved surface of each mirror 32b is the base line length, and parallax occurs between the mirrors 32b.

図9は、ある2つのミラー32bより得られる映像からの奥行き距離を求める方法について説明するための図である。ここでは、2つのミラー32bより得られる映像を映像42aおよび映像42bとする。基線長をdとすると、空間中の点44と、映像42aおよび映像42bとの関係は、次式(1)および次式(2)のように表すことができる。この式より各ミラー32bからの奥行きを算出することができる。図9では、2つの曲面から決定できる距離を表したが、同じ対象物は複数の曲面に投影されるため、全ての組合せからの距離が算出可能である。   FIG. 9 is a diagram for explaining a method for obtaining a depth distance from an image obtained from two mirrors 32b. Here, an image obtained from the two mirrors 32b is an image 42a and an image 42b. Assuming that the base line length is d, the relationship between the point 44 in the space and the video 42a and the video 42b can be expressed by the following equations (1) and (2). The depth from each mirror 32b can be calculated from this equation. Although the distance that can be determined from two curved surfaces is shown in FIG. 9, the same object is projected onto a plurality of curved surfaces, so that the distances from all combinations can be calculated.

Figure 2005234224
カメラから複数の全方位を投影する曲面に対する光軸は、それぞれのミラー32bに対して異なった角度から投影される。そのため、図10(a)に示すように無限遠方の直線は同じ方位となるが、図10(b)に示すように距離が近くなるに従い、方位にずれを生じる。それに加え、光軸の傾きにより、同じ高さの物体に対しても光軸中心から放射方向までの距離が異なる。ただし、ミラーは設計段階で基線長が決められ、カメラに設置した後、事前にキャリブレーションが可能である。このため、光軸の傾きを仮想的に光軸が平行であるように予め変換することが可能である。
Figure 2005234224
The optical axis for the curved surface that projects a plurality of omnidirectional directions from the camera is projected from different angles to the respective mirrors 32b. Therefore, the straight line at infinity has the same azimuth as shown in FIG. 10A, but the azimuth shifts as the distance becomes shorter as shown in FIG. 10B. In addition, due to the inclination of the optical axis, the distance from the center of the optical axis to the radiation direction differs even for an object of the same height. However, the base length of the mirror is determined at the design stage, and the mirror can be calibrated in advance after being installed in the camera. For this reason, the inclination of the optical axis can be converted in advance so that the optical axis is virtually parallel.

次に、実際に対象物までの距離を得る方法として2つの手法について述べる。
1つ目の方法は、投票による3次元検出である。二眼立体視において、画像間で対応する点を求めるのは複雑な処理が必要であるが、多眼視の場合、空間を所定の大きさのボクセルに区切り、画像から得られる視線をボクセルに投票すると、真の3次元点では複数の投票が得られる。従来の1台の全方位カメラでは視線が中心から放射状になるため、複数の視線を投票することが不可能であったが、複数のミラー32bを用いることで、投票が可能になった。その様子を図11に示す。カメラの近傍に検出限界の半径を持つ仮想的な球を生成する。球の内部を図12に示すようなボクセル52に区切り、複数のミラー32bより得られる画像の各々について、物体の視線が貫通するボクセルに投票を行なう。物体が球内にあるときには、必ず2本以上の視線からの投票が対応するボクセルにある。このことから、複数の投票があった(所定のしきい値以上の投票があった)ボクセルを物体の3次元位置とする。ただし、投票は近傍の球内に限定されるため、処理が簡便になる。
Next, two methods will be described as methods for actually obtaining the distance to the object.
The first method is three-dimensional detection by voting. In binocular stereoscopic vision, finding the corresponding points between images requires complicated processing, but in multi-view vision, the space is divided into voxels of a predetermined size, and the line of sight obtained from the images is converted into voxels. When voting, a true three-dimensional point results in multiple votes. With one conventional omnidirectional camera, the line of sight is radiating from the center, so it is impossible to vote for a plurality of lines of sight, but voting is possible by using a plurality of mirrors 32b. This is shown in FIG. A virtual sphere having a detection limit radius in the vicinity of the camera is generated. The inside of the sphere is divided into voxels 52 as shown in FIG. 12, and for each of the images obtained from the plurality of mirrors 32b, a vote is given to the voxel through which the line of sight of the object passes. When an object is in a sphere, votes from more than one line of sight are always in the corresponding voxel. Therefore, a voxel having a plurality of votes (a vote exceeding a predetermined threshold) is set as a three-dimensional position of the object. However, since voting is limited to nearby spheres, the processing becomes simple.

なお、図13に示すように、検出限界の半径を持つ仮想的な球の表面を複数のセル54に区切り、セル54に対して投票を行なうようにしてもよい。このようにすることにより、仮想的な球内に物体が侵入する境界での投票を行なうことができ、さらに、投票は、球表面に限定されることより、さらに処理が簡便になる。   As shown in FIG. 13, the surface of a virtual sphere having a radius of detection limit may be divided into a plurality of cells 54, and voting may be performed on the cells 54. In this way, voting can be performed at the boundary where an object enters the virtual sphere, and the voting is further limited to the surface of the sphere, thereby further simplifying the processing.

次に、2つ目の方法では、距離の代わりに、複数のミラー32bから得られる画像における視差の有無を検出する簡便な方法について述べる。図14に示すように、複数のミラー32bから獲得される全方位画像を一列に並べ立体画像(3次元画像)62を生成する。カメラ34から遠く離れた物体は上述のように方位が等しくなる。このため、画像間で視差が現れないため、立体画像62において直線64を描く。しかし、カメラ34の近傍に存在する対象物は視差を生じさせるため、基線長に依存して視差が現れる。このため、立体画像62においては曲線66を描く。したがって、立体画像64において、直線除去フィルターを利用し、直線64を除去することにより、簡便に視差がある領域だけを抜き出し、近傍の対象物と判定することができる。   Next, in the second method, a simple method for detecting the presence or absence of parallax in an image obtained from a plurality of mirrors 32b will be described instead of the distance. As shown in FIG. 14, the omnidirectional images acquired from the plurality of mirrors 32b are arranged in a line to generate a stereoscopic image (three-dimensional image) 62. An object far away from the camera 34 has the same orientation as described above. For this reason, since no parallax appears between the images, a straight line 64 is drawn in the stereoscopic image 62. However, since an object existing in the vicinity of the camera 34 generates parallax, the parallax appears depending on the baseline length. For this reason, a curve 66 is drawn in the stereoscopic image 62. Therefore, in the stereoscopic image 64, by using the straight line removal filter and removing the straight line 64, it is possible to easily extract only a region with parallax and determine a nearby object.

この奥行き距離は、ユーザから遠く離れるほど距離精度が低下する一方で、ユーザの近傍の対象物の距離は精度良く獲得できる。よって、図15に示すように、全方位撮像システム20によると、ユーザ近傍にあたかもバリア72が形成され、その内部に侵入した未確認対象物までの距離を測定し、その対象物を映像でユーザに知らせることができるようになる。   The distance accuracy of the depth distance decreases as the distance from the user increases. On the other hand, the distance of the object near the user can be obtained with high accuracy. Therefore, as shown in FIG. 15, according to the omnidirectional imaging system 20, a barrier 72 is formed in the vicinity of the user, the distance to an unconfirmed object that has entered the interior is measured, and the object is displayed to the user as an image. You can be informed.

なお、全方位カメラ22で撮像された映像は、ユーザにとって現実世界と異なり、周囲の全方向の映像が矩形の撮像面に映る。そのため、ユーザはカメラの方向を意識することなく全方向の情報を獲得することができる。しかし、全方位画像は屈折した画像となっているため、その画像を見ても、ユーザは対象物を認識するのは困難である。
このため、ユーザに違和感なく映像を伝えるには、映像を通常のカメラで撮影した画像と同様の透視投影画像に変換する必要がある。透視投影画像に変換する際のユーザの視線を獲得するため、上述のようにして、ユーザに近づく対象物を自動検出し、ユーザが見るべき方向(ユーザの視線方向)とする。
Note that the image captured by the omnidirectional camera 22 is different from the real world for the user, and the surrounding omnidirectional image is displayed on a rectangular imaging surface. Therefore, the user can acquire information in all directions without being aware of the direction of the camera. However, since the omnidirectional image is a refracted image, it is difficult for the user to recognize the object even when viewing the image.
For this reason, in order to convey a video without a sense of incongruity to the user, it is necessary to convert the video into a perspective projection image similar to an image taken with a normal camera. In order to acquire the line of sight of the user when converting to a perspective projection image, the object approaching the user is automatically detected as described above, and the direction to be viewed by the user (the line of sight of the user) is set.

ユーザから対象物までの距離が、一定距離より近くなり仮想的なバリア72の内側に入った場合には、未確認対象物の接近として、ユーザにアラーム等により警告するとともに、その方向を提示する。それとともに、当該方向に基づいて、全方位カメラの映像を通常カメラの映像と同様になるように切り出して透視投影映像に変換し表示する。
ユーザが携帯する全方位カメラ22は、ユーザの周囲を撮影するが、携帯する際に、全方位カメラ22の傾きが無いように設定する。また、ユーザの動きとともに全方位カメラ22が動くため、動きによる傾きを補正するために、ユーザは、全方位カメラ22とともにジャイロセンサ24を携帯する。ジャイロセンサ24の出力に基づいて、傾きを補正した映像切り出しが行なわれる。これらの処理はユーザが持つポータブルPC26で処理される。一方、映像を蓄積するため、全方位カメラ22から得られた映像およびジャイロセンサ24の出力は、ビデオサーバ28に転送され、ビデオサーバ28においてユーザの行動履歴を常時蓄積するとともに、その行動履歴がポータブルPC26に転送される。
When the distance from the user to the object is closer than a certain distance and enters the inside of the virtual barrier 72, the user is warned by an alarm or the like as an approach of the unconfirmed object, and the direction is presented. At the same time, based on the direction, the image of the omnidirectional camera is cut out to be the same as the image of the normal camera, converted into a perspective projection image, and displayed.
The omnidirectional camera 22 carried by the user captures the surroundings of the user, but is set so that there is no inclination of the omnidirectional camera 22 when carrying it. Further, since the omnidirectional camera 22 moves with the user's movement, the user carries the gyro sensor 24 together with the omnidirectional camera 22 in order to correct the inclination due to the movement. Based on the output of the gyro sensor 24, video segmentation with the tilt corrected is performed. These processes are performed by the portable PC 26 owned by the user. On the other hand, in order to store the video, the video obtained from the omnidirectional camera 22 and the output of the gyro sensor 24 are transferred to the video server 28, and the user's action history is always stored in the video server 28. The data is transferred to the portable PC 26.

以上説明したように、本実施の形態によると、1台のカメラで6つのミラーで反射される光を撮像している。このため、ミラーで反射された画像間で対応付けを行なうことにより距離情報を得ることができる。このため、低コストで画像と距離情報とを獲得することが可能な全方位撮像システムを提供することができる。   As described above, according to the present embodiment, the light reflected by the six mirrors is captured by one camera. Therefore, distance information can be obtained by associating the images reflected by the mirror. For this reason, the omnidirectional imaging system which can acquire an image and distance information at low cost can be provided.

また、6つのミラーから得られる画像に基づいて、対象物までの距離を算出している。このため、2つのミラーから得られる画像に基づいて対象物の対応付けを行う場合と異なり、対象物の偽対応を起こすことなく、正確な対象物の三次元位置を特定することができる全方位撮像システムを提供することができる。   Further, the distance to the object is calculated based on images obtained from the six mirrors. Therefore, unlike the case where the objects are associated based on the images obtained from the two mirrors, it is possible to specify an accurate three-dimensional position of the object without causing false correspondence of the object. An imaging system can be provided.

さらに、投票または立体画像から曲線抽出という手法により、対象物までの距離を求めることができる。よって、高速に全方位の距離を測定できるとともに、ユーザの近傍で高精度の測定結果が得られる。このため、一定距離以内に近づく対象物に対して警告を発し、その映像を表示することができる。   Further, the distance to the object can be obtained by a technique of voting or extracting a curve from a stereoscopic image. Therefore, the omnidirectional distance can be measured at high speed, and a highly accurate measurement result can be obtained near the user. For this reason, a warning can be issued to an object approaching within a certain distance, and the video can be displayed.

また、距離情報に基づいて、ユーザまでの到達時間を事前に予測検知することもできる。このため、このシステムは自転車、バイクを含む車両に利用でき、運転時における近傍の交通からの安全確保にも利用可能である。特に、高速道路などでは、隣接レーンを走行する車両に気付かずに車線変更すると大事故に繋がるが、側後方を監視するこの発明を利用することで、事前にドライバーに注意を促し、その映像で危険を確認させることができる。またこの映像は走行記録になることから、事故が発生したときの状況証拠として利用することができる。   Moreover, the arrival time to the user can be predicted and detected in advance based on the distance information. Therefore, this system can be used for vehicles including bicycles and motorcycles, and can be used for ensuring safety from nearby traffic during driving. Especially on highways, etc., if you change the lane without noticing the vehicle running on the adjacent lane, it will lead to a major accident, but by using this invention that monitors the rear side, the driver is alerted in advance, The danger can be confirmed. Moreover, since this video is a running record, it can be used as a proof of the situation when an accident occurs.

以上、本発明の実施の形態に係る全方位撮像システムについて説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、ミラー32bとして半円球の曲面ミラーを用いたが、双曲面ミラー、放物面ミラー等の周囲360度の光を反射可能なミラーであればどのような形状であってもよい。
また、ミラー32bの個数は6個に限定されるものではなく、それ以上であってもよいし、それ以下であってもよい。
The omnidirectional imaging system according to the embodiment of the present invention has been described above, but the present invention is not limited to this embodiment.
For example, although a hemispherical curved mirror is used as the mirror 32b, any shape may be used as long as it is a mirror capable of reflecting 360-degree light such as a hyperboloidal mirror and a parabolic mirror.
Further, the number of mirrors 32b is not limited to six, and may be more or less.

本発明は、全方位撮像システムに適用可能であり、特に、ユーザや自転車およびバイクを含む車両の周辺環境の監視等に適用可能である。   The present invention can be applied to an omnidirectional imaging system, and in particular, can be applied to monitoring a surrounding environment of a vehicle including a user, a bicycle and a motorcycle.

本発明の実施の形態に係る全方位撮像システムのハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of the omnidirectional imaging system which concerns on embodiment of this invention. 全方位カメラの構成を示す外観図である。It is an external view which shows the structure of an omnidirectional camera. 全方位カメラおよびジャイロセンサの設置位置の一例を示す図である。It is a figure which shows an example of the installation position of an omnidirectional camera and a gyro sensor. 全方位カメラおよびジャイロセンサの設置位置の他の一例を示す図である。It is a figure which shows another example of the installation position of an omnidirectional camera and a gyro sensor. 全方位カメラおよびジャイロセンサの設置位置のさらに他の一例を示す図である。It is a figure which shows another example of the installation position of an omnidirectional camera and a gyro sensor. 全方位カメラおよびジャイロセンサの設置位置のさらに他の一例を示す図である。It is a figure which shows another example of the installation position of an omnidirectional camera and a gyro sensor. 全方位カメラおよびジャイロセンサの設置位置のさらに他の一例を示す図である。It is a figure which shows another example of the installation position of an omnidirectional camera and a gyro sensor. 全方位ミラー32の構成を示す外観図であり、(a)は側面図であり、(b)は底面図である。It is an external view which shows the structure of the omnidirectional mirror 32, (a) is a side view, (b) is a bottom view. ある2つのミラーより得られる映像からの奥行き距離を求める方法について説明するための図である。It is a figure for demonstrating the method of calculating | requiring the depth distance from the image | video obtained from a certain two mirrors. 物体までの距離と方位との関係を説明するための図である。It is a figure for demonstrating the relationship between the distance to an object, and an azimuth | direction. 投票の様子を示す図である。It is a figure which shows the mode of voting. 球の内部をボクセルに区切った様子を示す図である。It is a figure which shows a mode that the inside of the bulb | ball was divided | segmented into the voxel. 球の表面をセルに区切った様子を示す図である。It is a figure which shows a mode that the surface of the bulb | ball was divided | segmented into the cell. 対処物までの距離を得る方法を説明するための図である。It is a figure for demonstrating the method to obtain the distance to a countermeasure. ユーザの近傍に設けられる仮想的なバリアについて説明するための図である。It is a figure for demonstrating the virtual barrier provided in the vicinity of a user.

符号の説明Explanation of symbols

20 全方位撮像システム
22 全方位カメラ
24 ジャイロセンサ
26 ポータブルPC
28 ビデオサーバ
32 全方位ミラー
34 カメラ
32a,32b ミラー
52 ボクセル
54 セル
62 立体画像
72 バリア
20 Omnidirectional Imaging System 22 Omnidirectional Camera 24 Gyro Sensor 26 Portable PC
28 Video Server 32 Omnidirectional Mirror 34 Camera 32a, 32b Mirror 52 Voxel 54 Cell 62 Stereo Image 72 Barrier

Claims (11)

各々周囲360度の光を反射可能な形状を有する3つ以上のミラーと、
前記3つ以上のミラーで反射される光を撮像する1つのカメラとを備える
ことを特徴とする全方位撮像システム。
Three or more mirrors each having a shape capable of reflecting 360 degrees of ambient light;
An omnidirectional imaging system comprising: one camera that images light reflected by the three or more mirrors.
さらに、前記3つ以上のミラーから、2つのミラーの組み合わせを抽出するミラー組み合わせ抽出手段と、
前記ミラー組み合わせ抽出手段で抽出されたミラーの組み合わせの各々について、前記カメラで撮像された画像中より得られる当該組み合わせに含まれる2つのミラーでの反射映像と前記2つのミラーの基線長とに基づいて、対象物までの距離を算出する距離算出手段とを備える
ことを特徴とする請求項1に記載の全方位撮像システム。
Furthermore, mirror combination extraction means for extracting a combination of two mirrors from the three or more mirrors;
For each of the mirror combinations extracted by the mirror combination extraction means, based on the reflected video from the two mirrors included in the combination obtained from the image captured by the camera and the baseline length of the two mirrors The omnidirectional imaging system according to claim 1, further comprising a distance calculating unit that calculates a distance to the object.
さらに、前記対象物までの距離に基づいて、前記対象物が前記カメラを中心とする所定の半径を有する仮想球面内に侵入したか否かを判定する判定手段と、
前記対象物が前記仮想球面内に侵入した場合に、警告を発する警告発生手段とを備える
ことを特徴とする請求項2に記載の全方位撮像システム。
A determination unit configured to determine whether or not the object has entered a virtual spherical surface having a predetermined radius centered on the camera based on a distance to the object;
The omnidirectional imaging system according to claim 2, further comprising warning generation means for issuing a warning when the object enters the virtual spherical surface.
さらに、前記カメラで撮像された画像に含まれる前記3つ以上のミラーでの反射画像の各々に基づいて、前記カメラから対象物への視線方向を求める視線方向取得手段と、
前記カメラを中心とし、所定の大きさのボクセルで区切られた仮想的な球を生成する仮想球生成手段と、
前記視線方向取得手段で求められた視線と交差するボクセルに投票をする投票手段と、
投票結果に基づいて、所定のしきい値以上の投票が行なわれたボクセルに基づいて、対象物の三次元位置を特定する三次元位置特定手段とを備える
ことを特徴とする請求項1に記載の全方位撮像システム。
Furthermore, based on each of the reflected images of the three or more mirrors included in the image captured by the camera, a line-of-sight direction obtaining unit that obtains a line-of-sight direction from the camera to the object;
Virtual sphere generating means for generating a virtual sphere centered on the camera and separated by voxels of a predetermined size;
Voting means for voting on voxels that intersect the line of sight obtained by the line-of-sight direction obtaining means;
The three-dimensional position specifying means for specifying a three-dimensional position of an object based on a voxel for which voting equal to or greater than a predetermined threshold is performed based on a voting result. Omnidirectional imaging system.
さらに、前記カメラで撮像された画像に含まれる前記3つ以上のミラーでの反射画像の各々に基づいて、前記カメラから対象物への視線方向を求める視線方向取得手段と、
前記カメラの周辺に所定の大きさのセルで区切られた仮想的な球表面を生成する仮想球表面生成手段と、
前記視線方向取得手段で求められた視線と交差するセルに投票をする投票手段と、
投票結果に基づいて、所定のしきい値以上の投票が行なわれたセルに基づいて、対象物の三次元位置を特定する三次元位置特定手段とを備える
ことを特徴とする請求項1に記載の全方位撮像システム。
Furthermore, based on each of the reflected images of the three or more mirrors included in the image captured by the camera, a line-of-sight direction obtaining unit that obtains a line-of-sight direction from the camera to the object;
Virtual sphere surface generation means for generating a virtual sphere surface divided by cells of a predetermined size around the camera;
Voting means for voting on a cell that intersects the line of sight obtained by the line-of-sight direction obtaining means;
The three-dimensional position specifying means for specifying a three-dimensional position of an object based on a cell in which voting equal to or greater than a predetermined threshold is performed based on a voting result. Omnidirectional imaging system.
さらに、前記対象物の三次元位置に基づいて、前記対象物が前記カメラを中心とする所定の半径を有する仮想球面内に侵入したか否かを判定する判定手段と、
前記対象物が前記仮想球面内に侵入した場合に、前記カメラで撮像された画像に基づいて、前記対象物を通常のカメラから見た画像へ透視投影変換し、透視投影変換後の画像をユーザに提示する透視投影変換手段とを備える
ことを特徴とする請求項4または5に記載の全方位撮像システム。
A determination unit configured to determine whether or not the object has entered a virtual spherical surface having a predetermined radius centered on the camera based on a three-dimensional position of the object;
When the target object enters the virtual spherical surface, based on the image captured by the camera, the target object is perspective-projected into an image viewed from a normal camera, and the image after the perspective projection conversion is converted to a user. The omnidirectional imaging system according to claim 4, further comprising: a perspective projection conversion unit presented in
さらに、前記透視投影変換後の画像を記録する記録手段を備える
ことを特徴とする請求項6に記載の全方位撮像システム。
The omnidirectional imaging system according to claim 6, further comprising recording means for recording the image after the perspective projection conversion.
さらに、前記カメラで撮像された画像に含まれる前記3つ以上のミラーでの反射画像を一列に並べ立体画像を生成する立体画像生成手段と、
前記立体画像中より曲線を抽出する曲線抽出手段と、
前記曲線抽出手段での抽出結果に基づいて、前記カメラから所定の距離内に対象物が存在するか否かを判断する判断手段とを備える
ことを特徴とする請求項1に記載の全方位撮像システム。
Furthermore, a stereoscopic image generation means for generating a stereoscopic image by arranging the reflection images of the three or more mirrors included in the image captured by the camera in a line;
Curve extracting means for extracting a curve from the stereoscopic image;
2. The omnidirectional imaging according to claim 1, further comprising: a determination unit configured to determine whether or not an object is present within a predetermined distance from the camera based on an extraction result of the curve extraction unit. system.
前記曲線抽出手段は、
前記立体画像中より直線を除去する除去部と、
直線が除去された前記立体画像中より曲線を抽出する抽出部とを有する
ことを特徴とする請求項8に記載の全方位撮像システム。
The curve extracting means includes
A removal unit for removing a straight line from the stereoscopic image;
The omnidirectional imaging system according to claim 8, further comprising: an extraction unit that extracts a curve from the stereoscopic image from which a straight line is removed.
さらに、前記判断手段の判断結果に基づいて、前記対象物が前記カメラから前記所定の距離内に侵入した場合に、警告を発する警告発生手段を備える
ことを特徴とする請求項8または9に記載の全方位撮像システム。
10. The apparatus according to claim 8, further comprising warning generation means for issuing a warning when the object enters within the predetermined distance from the camera based on a determination result of the determination means. Omnidirectional imaging system.
さらに、前記カメラの傾きを検出する傾き検出手段と、
前記カメラの傾きに基づいて、前記カメラで撮像される映像の傾きを補正する傾き補正手段とを備える
ことを特徴とする請求項1〜10のいずれか1項に記載の全方位撮像システム。
Furthermore, an inclination detecting means for detecting the inclination of the camera;
The omnidirectional imaging system according to any one of claims 1 to 10, further comprising an inclination correction unit that corrects an inclination of an image captured by the camera based on an inclination of the camera.
JP2004043320A 2004-02-19 2004-02-19 Omnidirectional imaging system Expired - Fee Related JP4554954B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004043320A JP4554954B2 (en) 2004-02-19 2004-02-19 Omnidirectional imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004043320A JP4554954B2 (en) 2004-02-19 2004-02-19 Omnidirectional imaging system

Publications (2)

Publication Number Publication Date
JP2005234224A true JP2005234224A (en) 2005-09-02
JP4554954B2 JP4554954B2 (en) 2010-09-29

Family

ID=35017245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004043320A Expired - Fee Related JP4554954B2 (en) 2004-02-19 2004-02-19 Omnidirectional imaging system

Country Status (1)

Country Link
JP (1) JP4554954B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763941B1 (en) 2006-02-09 2007-10-05 전북대학교산학협력단 Equipment of Image Stereo Omni-Directional
WO2012124275A1 (en) * 2011-03-11 2012-09-20 Sony Corporation Image processing apparatus, image processing method, and program
JP2013038775A (en) * 2011-08-10 2013-02-21 Seiko Epson Corp Ray image modeling for fast catadioptric light field rendering
JP2014099885A (en) * 2013-12-27 2014-05-29 Olympus Imaging Corp Imaging apparatus and image processing method
US9110365B2 (en) 2009-11-19 2015-08-18 Olympus Corporation Imaging apparatus
US9244258B2 (en) 2010-06-24 2016-01-26 Panasonic Corporation Omnidirectional imaging system
KR101898541B1 (en) * 2017-04-14 2018-09-14 한국항공우주연구원 Distance calculation system of moving device
US10587799B2 (en) 2015-11-23 2020-03-10 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling electronic apparatus thereof
JP2020526096A (en) * 2017-06-29 2020-08-27 リンクフロー カンパニー リミテッド Optimal situation determination imaging method and apparatus for performing such method
WO2022018836A1 (en) * 2020-07-21 2022-01-27 ソニーグループ株式会社 Information processing device, information processing method, and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6969121B2 (en) 2017-03-17 2021-11-24 株式会社リコー Imaging system, image processing device and image processing program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0815413A (en) * 1994-06-24 1996-01-19 Mitsubishi Electric Corp Distance measuring apparatus
JPH1195344A (en) * 1997-09-18 1999-04-09 Matsushita Electric Ind Co Ltd Omniazimuth stereoscopic picture taking device
JPH11242745A (en) * 1998-02-25 1999-09-07 Victor Co Of Japan Ltd Method for measuring and processing facial image
JP2001141423A (en) * 1999-11-11 2001-05-25 Fuji Photo Film Co Ltd Image pickup device and image processor
JP2001258050A (en) * 2000-03-14 2001-09-21 Nippon Hoso Kyokai <Nhk> Stereoscopic video imaging device
JP2002094969A (en) * 2000-09-14 2002-03-29 Suekage Sangyo Kk Supervisory system
JP2002535700A (en) * 1999-01-15 2002-10-22 ジ・オーストラリアン・ナショナル・ユニバーシティー Resolution-invariant panoramic imaging

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0815413A (en) * 1994-06-24 1996-01-19 Mitsubishi Electric Corp Distance measuring apparatus
JPH1195344A (en) * 1997-09-18 1999-04-09 Matsushita Electric Ind Co Ltd Omniazimuth stereoscopic picture taking device
JPH11242745A (en) * 1998-02-25 1999-09-07 Victor Co Of Japan Ltd Method for measuring and processing facial image
JP2002535700A (en) * 1999-01-15 2002-10-22 ジ・オーストラリアン・ナショナル・ユニバーシティー Resolution-invariant panoramic imaging
JP2001141423A (en) * 1999-11-11 2001-05-25 Fuji Photo Film Co Ltd Image pickup device and image processor
JP2001258050A (en) * 2000-03-14 2001-09-21 Nippon Hoso Kyokai <Nhk> Stereoscopic video imaging device
JP2002094969A (en) * 2000-09-14 2002-03-29 Suekage Sangyo Kk Supervisory system

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763941B1 (en) 2006-02-09 2007-10-05 전북대학교산학협력단 Equipment of Image Stereo Omni-Directional
US9110365B2 (en) 2009-11-19 2015-08-18 Olympus Corporation Imaging apparatus
US9244258B2 (en) 2010-06-24 2016-01-26 Panasonic Corporation Omnidirectional imaging system
WO2012124275A1 (en) * 2011-03-11 2012-09-20 Sony Corporation Image processing apparatus, image processing method, and program
JP2012190299A (en) * 2011-03-11 2012-10-04 Sony Corp Image processing system and method, and program
JP2013038775A (en) * 2011-08-10 2013-02-21 Seiko Epson Corp Ray image modeling for fast catadioptric light field rendering
JP2014099885A (en) * 2013-12-27 2014-05-29 Olympus Imaging Corp Imaging apparatus and image processing method
US10587799B2 (en) 2015-11-23 2020-03-10 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling electronic apparatus thereof
US10992862B2 (en) 2015-11-23 2021-04-27 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling electronic apparatus thereof
KR101898541B1 (en) * 2017-04-14 2018-09-14 한국항공우주연구원 Distance calculation system of moving device
JP2020526096A (en) * 2017-06-29 2020-08-27 リンクフロー カンパニー リミテッド Optimal situation determination imaging method and apparatus for performing such method
WO2022018836A1 (en) * 2020-07-21 2022-01-27 ソニーグループ株式会社 Information processing device, information processing method, and program
US12106439B2 (en) 2020-07-21 2024-10-01 Sony Group Corporation Device and associated methodology for suppressing interaction delay of interacting with a field of view of a mobile terminal on a different display

Also Published As

Publication number Publication date
JP4554954B2 (en) 2010-09-29

Similar Documents

Publication Publication Date Title
US8599266B2 (en) Digital processing of video images
US7126630B1 (en) Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method
KR101634966B1 (en) Image tracking system using object recognition information based on Virtual Reality, and image tracking method thereof
JP5872818B2 (en) Positioning processing device, positioning processing method, and image processing device
EP1030188A1 (en) Situation awareness system
US20040075544A1 (en) System and method for monitoring the surrounding area of a vehicle
Zhu et al. Panoramic virtual stereo vision of cooperative mobile robots for localizing 3d moving objects
CN104902246A (en) Video monitoring method and device
JP4554954B2 (en) Omnidirectional imaging system
WO2005088971A1 (en) Image generation device, image generation method, and image generation program
WO2012056443A2 (en) Tracking and identification of a moving object from a moving sensor using a 3d model
JP2008517320A (en) Linear aberration correcting mirror and video system including the same
JPWO2011064831A1 (en) Diagnostic device and diagnostic method
RU2268497C2 (en) System and method for automated video surveillance and recognition of objects and situations
KR101985711B1 (en) Augmented reality CCTV system, and control method for the same
CN109920048A (en) Monitored picture generation method and device
CN111294586A (en) Image display method and device, head-mounted display equipment and computer readable medium
Satoh et al. An omnidirectional stereo vision-based smart wheelchair
CN113424522A (en) Three-dimensional tracking using hemispherical or spherical visible depth images
KR20130071842A (en) Apparatus and method for providing environment information of vehicle
CN113401058A (en) Real-time display method and system for automobile A column blind area based on three-dimensional coordinates of human eyes
US20200128188A1 (en) Image pickup device and image pickup system
CN114425991A (en) Image processing method, medium, device and image processing system
KR101893368B1 (en) Method and system for measuring three dimensional visibility combined with traffic monitoring
KR102546045B1 (en) monitering system with LiDAR for a body

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070119

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100715

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees