JP2005234224A - All azimuth imaging system - Google Patents
All azimuth imaging system Download PDFInfo
- Publication number
- JP2005234224A JP2005234224A JP2004043320A JP2004043320A JP2005234224A JP 2005234224 A JP2005234224 A JP 2005234224A JP 2004043320 A JP2004043320 A JP 2004043320A JP 2004043320 A JP2004043320 A JP 2004043320A JP 2005234224 A JP2005234224 A JP 2005234224A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- imaging system
- image
- omnidirectional
- mirrors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 53
- 238000000605 extraction Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 8
- 238000000034 method Methods 0.000 description 19
- 238000009434 installation Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 4
- 230000002265 prevention Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、全方位撮像システムに関し、特に、低コストで画像と距離情報とを同時に獲得することが可能な全方位撮像システムに関する。 The present invention relates to an omnidirectional imaging system, and more particularly to an omnidirectional imaging system capable of simultaneously acquiring images and distance information at low cost.
従来、人の周辺環境を監視したり、犯罪を防止したりするために携帯可能な監視カメラや、定点監視カメラなどの研究開発が進められている。
このような人の周辺環境を監視する監視カメラの役割は、人が気付かない視野に現れた対象物の発見および記録にある。人は、前方視野は自身の視覚によって注意しているが、無意識下では、側方および後方視野の情報を獲得していない。このため、人の視覚外から急に現れる悪意を持った犯罪者、または悪意はなくても不注意で衝突する加害者に対し、事前に衝突を検知し、回避または対処することで、事故または事件を未然に防止することができる。
Conventionally, research and development of portable surveillance cameras and fixed point surveillance cameras have been promoted in order to monitor the surrounding environment of people and prevent crimes.
The role of the surveillance camera for monitoring the surrounding environment of such a person is to find and record the object that appears in the field of view that the person does not notice. A person is aware of the front vision by his vision, but unconsciously has not acquired information on the side and rear vision. For this reason, a malicious criminal who suddenly appears from outside the human eye, or a perpetrator who collides inadvertently even if it is not malicious, can detect an accident in advance and avoid or deal with it. The incident can be prevented in advance.
このような側方および後方を含む広角視野情報の獲得のために全方位カメラが開発されており、側方視野を意識した反射光学系に関する研究が、ロボティクスの分野で活発に研究されている。全方位カメラの特徴として周囲360度の側方画像を、一度の撮影で獲得できる点にある。
このように、全方位を観測できる利点を生かし、全方位カメラを遠隔テレビ会議に利用したり(例えば、非特許文献1参照。)、全方位カメラを定点監視カメラとして用い、広範囲の監視や、移動物体の追跡またはイベント抽出などに利用したりする試みがある(例えば、非特許文献2参照。)。
An omnidirectional camera has been developed to acquire such wide-angle field of view information including the side and the back, and studies on reflective optical systems that are conscious of the side field of view are being actively studied in the field of robotics. A feature of the omnidirectional camera is that a side image of 360 degrees around can be acquired by one shooting.
In this way, taking advantage of omnidirectional observation, the omnidirectional camera can be used for remote video conference (for example, see Non-Patent Document 1), the omnidirectional camera can be used as a fixed point monitoring camera, There are attempts to use it for tracking a moving object or extracting an event (for example, see Non-Patent Document 2).
また、ロボティクスの応用として提案された様々な技術の一つとして、全方位カメラを用いて、全方位の奥行き情報を観測する手法がある。この手法では曲面を有する2つのミラーをカメラの光軸上に重ね合わせている。これにより、1台のカメラで得られた入力画像から、全方位の奥行き距離を実時間で計測することができる(例えば、非特許文献3参照。)。対象物の奥行き距離はステレオ法の対応関係から求められるが、対象物の偽対応など対応関係を求めるには困難な問題がある。このような対応づけを簡便にするために、投票(ボーティング)と呼ばれる手法が存在する。さらに移動カメラで捉えた複数枚の画像を時空間に並べ、その軌跡をEPI(Epipolar Plane Image)と称する平面で切断し軌跡から距離情報を得る手法が存在する。
上述のように、全周囲を観測するには全方位カメラが有効である。しかしながら、画像と距離情報(奥行き情報)とを同時に獲得するには、複数の全方位カメラが必要になり、コスト的に問題がある。
また、距離情報を得るために、複数の全方位画像より得られるステレオ画像間で、対象物の対応付けを行わなければならないが、処理が複雑であるという問題がある。
As described above, an omnidirectional camera is effective for observing the entire periphery. However, in order to obtain images and distance information (depth information) simultaneously, a plurality of omnidirectional cameras are required, which is problematic in terms of cost.
In addition, in order to obtain distance information, it is necessary to associate objects between stereo images obtained from a plurality of omnidirectional images, but there is a problem that processing is complicated.
さらに、その様子を記録した映像は、事故または事件の状況証拠となるが、周囲を全て撮影した映像を常時記録するにはコスト面で問題がある。このため、カメラに近づく対象物を検知し、対象物が写る画像だけを切り出して記録する要求がある。 Furthermore, the video recording the situation is evidence of the situation of the accident or incident, but there is a problem in terms of cost to always record the video of the entire surroundings. For this reason, there is a request for detecting an object approaching the camera and cutting out and recording only an image in which the object is captured.
また、従来の全方位カメラの遠隔テレビ会議や定点監視への応用では、遠隔地のユーザが、会議の様子を知りたい場所や、監視場所等の切り出す場所をインタラクティブに指定する必要がある。その後、指定された場所の透視投影映像(通常のカメラで見た映像)がユーザに提示されている。しかし、人の周辺環境への監視への適用を考えた場合には、対象物がどの方向から出現するかが分からず、切り出し場所をインタラクティブには指定することができない。このため、実時間で透視投影映像を生成することができない。 In addition, in the application of the conventional omnidirectional camera to remote video conference and fixed point monitoring, it is necessary for a remote user to interactively specify a location where the user wants to know the state of the conference and a location to be monitored. Thereafter, a perspective projection image (image viewed with a normal camera) of the designated place is presented to the user. However, when considering application to monitoring of a person's surrounding environment, it is not known from which direction the object appears, and the cutout location cannot be specified interactively. For this reason, a perspective projection image cannot be generated in real time.
また、非特許文献3のように曲面を有する2つのミラーをカメラの光軸上に重ね合わせた全方位カメラは存在する。しかし、2つの視点から観測された画像より三角測量の原理を用いてステレオ視した場合には、偽の対応が起こるという問題点が知られている(例えば、M.Yachida, Y.Kitamura, M.Kimachi, "Trinocular vision: New approach for correspondence problem," Proc. 8th Int'l Conf. Pattern Recognition, pp.1041-1044, 1986)。 Moreover, there exists an omnidirectional camera in which two mirrors having curved surfaces are superimposed on the optical axis of the camera as in Non-Patent Document 3. However, there is a known problem that a false correspondence occurs when stereo viewing is performed using the triangulation principle from images observed from two viewpoints (for example, M. Yachida, Y. Kitamura, M Kimachi, "Trinocular vision: New approach for correspondence problem," Proc. 8th Int'l Conf. Pattern Recognition, pp.1041-1044, 1986).
本発明は、上述の課題を解決するためになされたもので、低コストで画像と距離情報とを獲得することが可能な全方位撮像システムを提供することを目的とする。
また、簡便な処理でステレオ画像間の対象物の対応付けを行なうことができる全方位撮像システムを提供することも目的とする。
さらに、低コストで対象物の画像を記録することができる全方位撮像システムを提供することも目的とする。
The present invention has been made to solve the above-described problems, and an object thereof is to provide an omnidirectional imaging system capable of acquiring an image and distance information at a low cost.
It is another object of the present invention to provide an omnidirectional imaging system capable of associating objects between stereo images with simple processing.
It is another object of the present invention to provide an omnidirectional imaging system that can record an image of an object at low cost.
さらにまた、実時間で逆透視投影映像を生成することが可能な全方位撮像システムを提供することも目的とする。
さらにまた、対象物の偽対応を起こすことなく、正確な対象物の三次元位置を特定することができる全方位撮像システムを提供することも目的とする。
It is another object of the present invention to provide an omnidirectional imaging system capable of generating a reverse perspective projection image in real time.
It is another object of the present invention to provide an omnidirectional imaging system capable of specifying an accurate three-dimensional position of an object without causing false correspondence of the object.
上記目的を達成するために、本発明に係る全方位撮像システムは、各々周囲360度の光を反射可能な形状を有する3つ以上のミラーと、前記3つ以上のミラーで反射される光を撮像する1つのカメラとを備えている。
1台のカメラで3つ以上のミラーで反射される光を撮像している。3つ以上のミラーで反射された画像間で対応付けを行なうことにより距離情報を得ることができる。このため、低コストで画像と距離情報とを獲得することが可能な全方位撮像システムを提供することができる。
In order to achieve the above object, an omnidirectional imaging system according to the present invention includes three or more mirrors each having a shape capable of reflecting 360 degrees of surrounding light, and light reflected by the three or more mirrors. And a single camera for imaging.
A single camera captures light reflected by three or more mirrors. Distance information can be obtained by associating images reflected by three or more mirrors. For this reason, the omnidirectional imaging system which can acquire an image and distance information at low cost can be provided.
好ましくは、上述の全方位撮像システムは、さらに、前記3つ以上のミラーから、2つのミラーの組み合わせを抽出するミラー組み合わせ抽出手段と、前記ミラー組み合わせ抽出手段で抽出されたミラーの組み合わせの各々について、前記カメラで撮像された画像中より得られる当該組み合わせに含まれる2つのミラーでの反射映像と前記2つのミラーの基線長とに基づいて、対象物までの距離を算出する距離算出手段とを備える。 Preferably, the omnidirectional imaging system further includes a mirror combination extraction unit that extracts a combination of two mirrors from the three or more mirrors, and each of the mirror combinations extracted by the mirror combination extraction unit. A distance calculating means for calculating a distance to the object based on the reflected images of the two mirrors included in the combination obtained from the image captured by the camera and the baseline length of the two mirrors; Prepare.
3つ以上のミラーから得られる画像に基づいて、対象物までの距離を算出している。このため、対象物の偽対応を起こすことなく、正確な対象物の三次元位置を特定することができる全方位撮像システムを提供することができる。
さらに好ましくは、上述の全方位撮像システムは、さらに、前記対象物までの距離に基づいて、前記対象物が前記カメラを中心とする所定の半径を有する仮想球面内に侵入したか否かを判定する判定手段と、前記対象物が前記仮想球面内に侵入した場合に、警告を発する警告発生手段とを備える。
The distance to the object is calculated based on images obtained from three or more mirrors. Therefore, it is possible to provide an omnidirectional imaging system that can specify an accurate three-dimensional position of an object without causing false correspondence of the object.
More preferably, the above-described omnidirectional imaging system further determines whether or not the object has entered a virtual sphere having a predetermined radius centered on the camera, based on the distance to the object. And a warning generation means for issuing a warning when the object has entered the phantom spherical surface.
この構成によると、仮想球面内に侵入した対象物に対して警告を発し、注意を促すことが可能になる。このため、事故や事件等を未然に防止することができる。 According to this configuration, it is possible to issue a warning and call attention to an object that has entered the virtual spherical surface. For this reason, accidents and incidents can be prevented in advance.
また、上述の全方位撮像システムは、さらに、前記カメラで撮像された画像に含まれる前記3つ以上のミラーでの反射画像の各々に基づいて、前記カメラから対象物への視線方向を求める視線方向取得手段と、前記カメラを中心とし、所定の大きさのボクセルで区切られた仮想的な球を生成する仮想球生成手段と、前記視線方向取得手段で求められた視線と交差するボクセルに投票をする投票手段と、投票結果に基づいて、所定のしきい値以上の投票が行なわれたボクセルに基づいて、対象物の三次元位置を特定する三次元位置特定手段とを備えていてもよい。 The omnidirectional imaging system further includes a line of sight for obtaining a line-of-sight direction from the camera to an object based on each of the reflected images of the three or more mirrors included in an image captured by the camera. Vote for direction acquisition means, virtual sphere generation means for generating a virtual sphere centered on the camera and divided by voxels of a predetermined size, and voxels intersecting the line of sight obtained by the line-of-sight direction acquisition means A voting unit that performs the voting, and a three-dimensional position specifying unit that specifies a three-dimensional position of the object based on a voxel that has been voted above a predetermined threshold based on a voting result. .
投票の対象となるボクセルの位置を仮想的な球内に限定し、カメラからの視線と交差するボクセルの投票を行なうことに、投票の多いボクセルの位置を対象物の存在位置としている。このため、簡便な処理でステレオ画像間の対象物の対応付けを行なうことができる全方位撮像システムを提供することができる。 The position of a voxel subject to voting is limited to a virtual sphere, and a voxel that intersects the line of sight from the camera is voted as the position where the object exists. For this reason, the omnidirectional imaging system which can perform the matching of the target object between stereo images by simple processing can be provided.
一般的に、投票を行なう際には、対象物の周辺に複数の視点を設け、当該視点から対象物に対する視線方向への投票を行なっている。これは、カメラを中心に設置し、全周囲の方向へ投票すると投票対象位置が無限に広がってしまうからである。よって、何らかの方法でボーティングする空間を狭めなければならない。 In general, when voting, a plurality of viewpoints are provided around an object, and voting is performed from the viewpoint in the line-of-sight direction with respect to the object. This is because if the camera is installed in the center and the vote is made in the direction of the entire circumference, the voting target position will spread infinitely. Therefore, the space for voting must be narrowed by some method.
この構成では、投票の対象空間を仮想的な球内に制限している。このため、カメラを中心に配置した投票を可能にしている。 In this configuration, the target space for voting is limited to a virtual sphere. For this reason, voting with the camera at the center is possible.
さらに好ましくは、上述の全方位撮像システムは、さらに、前記カメラで撮像された画像に含まれる前記3つ以上のミラーでの反射画像の各々に基づいて、前記カメラから対象物への視線方向を求める視線方向取得手段と、前記カメラの周辺に所定の大きさのセルで区切られた仮想的な球表面を生成する仮想球表面生成手段と、前記視線方向取得手段で求められた視線と交差するセルに投票をする投票手段と、投票結果に基づいて、所定のしきい値以上の投票が行なわれたセルに基づいて、対象物の三次元位置を特定する三次元位置特定手段とを備えていてもよい。 More preferably, the above-mentioned omnidirectional imaging system further determines the line-of-sight direction from the camera to the object based on each of the reflected images from the three or more mirrors included in the image captured by the camera. Intersects with the gaze direction obtained by the gaze direction obtaining means, virtual sphere surface generation means for producing a virtual sphere surface divided by cells of a predetermined size around the camera, and the gaze obtained by the gaze direction obtaining means Voting means for voting on a cell, and three-dimensional position specifying means for specifying a three-dimensional position of an object based on a cell on which voting of a predetermined threshold value or more is performed based on a voting result May be.
投票位置を仮想的な球表面のセルに限定している。このため、ボクセルに投票をする場合に比べ、投票箇所が少ない。このため、さらに簡便な処理でステレオ画像間の対象物の対応付けを行なうことができる全方位撮像システムを提供することができる。 The voting position is limited to a virtual sphere surface cell. For this reason, there are few voting locations compared with the case of voting on a voxel. For this reason, the omnidirectional imaging system which can perform the matching of the target object between stereo images by a further simple process can be provided.
さらに好ましくは、上述の全方位撮像システムは、さらに、前記対象物の三次元位置に基づいて、前記対象物が前記カメラを中心とする所定の半径を有する仮想球面内に侵入したか否かを判定する判定手段と、前記対象物が前記仮想球面内に侵入した場合に、前記カメラで撮像された画像に基づいて、前記対象物を通常のカメラから見た画像へ透視投影変換し、透視投影変換後の画像をユーザに提示する透視投影変換手段とを備える。 More preferably, the above-mentioned omnidirectional imaging system further determines whether or not the object has entered a virtual sphere having a predetermined radius centered on the camera based on the three-dimensional position of the object. A determination unit for determining, and when the object has entered the virtual spherical surface, based on an image captured by the camera, the object is perspective-projected and converted to an image viewed from a normal camera; Perspective projection conversion means for presenting the converted image to the user.
投票という簡便な方法により対象物の三次元位置が求められている。このため、カメラから対象物への視線方向も即座に求めることができる。よって、実時間で逆透視投影映像(通常のカメラから見た映像)を生成することが可能な全方位撮像システムを提供することができる。 The three-dimensional position of the object is obtained by a simple method called voting. For this reason, the line-of-sight direction from the camera to the object can also be obtained immediately. Therefore, it is possible to provide an omnidirectional imaging system capable of generating a reverse perspective projection video (video viewed from a normal camera) in real time.
さらに好ましくは、上述の全方位撮像システムは、さらに、前記透視投影変換後の画像を記録する記録手段を備える。 More preferably, the above-described omnidirectional imaging system further includes recording means for recording the image after the perspective projection conversion.
逆透視投影映像のみを記録することができるため、カメラで撮像された生の画像を記録する場合に比べ、低コストで対象物の画像を記録することができる全方位撮像システムを提供することができる。 Provided is an omnidirectional imaging system capable of recording an image of an object at a lower cost than when recording a raw image captured by a camera because only a reverse perspective projection image can be recorded. it can.
さらに好ましくは、上述の全方位撮像システムは、さらに、前記カメラで撮像された画像に含まれる前記3つ以上のミラーでの反射画像を一列に並べ立体画像を生成する立体画像生成手段と、前記立体画像中より曲線を抽出する曲線抽出手段と、前記曲線抽出手段での抽出結果に基づいて、前記カメラから所定の距離内に対象物が存在するか否かを判断する判断手段とを備えていてもよい。好ましくは、前記曲線抽出手段は、前記立体画像中より直線を除去する除去部と、直線が除去された前記立体画像中より曲線を抽出する抽出部とを有することを特徴とする。 More preferably, the above-mentioned omnidirectional imaging system further includes a stereoscopic image generating unit that generates a stereoscopic image by arranging the reflection images of the three or more mirrors included in the image captured by the camera in a line, and Curve extraction means for extracting a curve from the stereoscopic image, and determination means for determining whether or not an object exists within a predetermined distance from the camera based on the extraction result of the curve extraction means. May be. Preferably, the curve extracting means includes a removing unit that removes a straight line from the stereoscopic image, and an extracting unit that extracts a curve from the stereoscopic image from which the straight line has been removed.
画像間で視差が生じる場合、すなわち対象物がカメラの近傍に存在する場合には、立体画像中で対象物が曲線として抽出されるという性質を利用して、対象物が近傍に存在するか否かを判断している。このため、簡便な方法により対象物までの距離を計測することができる。 If parallax occurs between images, that is, if the object is in the vicinity of the camera, whether or not the object exists in the vicinity using the property that the object is extracted as a curve in the stereoscopic image Judgment. For this reason, the distance to a target object can be measured by a simple method.
さらに好ましくは、上述の全方位撮像システムは、さらに、前記カメラの傾きを検出する傾き検出手段と、前記カメラの傾きに基づいて、前記カメラで撮像される映像の傾きを補正する傾き補正手段とを備える。 More preferably, the omnidirectional imaging system further includes an inclination detection unit that detects the inclination of the camera, and an inclination correction unit that corrects an inclination of an image captured by the camera based on the inclination of the camera. Is provided.
ジャイロセンサ等の傾き検出手段により検出されるカメラの傾きに基づいて、前記カメラで撮像される映像の傾きを補正することにより、カメラに振動等が加わった場合であっても、対象物までの正確な距離または対象物の正確な三次元位置を求めることができる。 By correcting the tilt of the image captured by the camera based on the tilt of the camera detected by the tilt detection means such as a gyro sensor, even if the camera is subjected to vibration or the like, An exact distance or an exact 3D position of the object can be determined.
上述したような全方位撮像システムを用いることにより、以下のような効果をも奏する。すなわち、街の定点監視カメラに防犯を依存すると、カメラの視線を遮る障害物が多くある場合には、設置台数を増やしても死角が生じやすい。このため、カメラの配置位置の決定が困難であった。また、定点監視カメラには、プライバシー侵害の問題もある。そこで防犯においても、小型カメラを個人が持ち歩くことで、ユーザの自発的な撮影において、ユーザ個人の近接領域を常に監視することが可能となり、他人のプライバシーを過度に侵害せずに、防犯に対する効果を実現することができる。 By using the omnidirectional imaging system as described above, the following effects can also be obtained. In other words, depending on crime prevention for fixed-point surveillance cameras in the city, if there are many obstacles that block the camera's line of sight, blind spots are likely to occur even if the number of installed cameras is increased. For this reason, it is difficult to determine the arrangement position of the camera. Also, fixed-point surveillance cameras have a privacy infringement problem. Therefore, even in crime prevention, it is possible for an individual to carry a small camera, so that it is possible to constantly monitor the proximity area of the individual user, and the effect on crime prevention without excessively infringing on the privacy of others. Can be realized.
以上説明したように、本発明によると、低コストで画像と距離情報とを獲得することが可能な全方位撮像システムを提供することができる。
また、簡便な処理でステレオ画像間の対象物の対応付けを行なうことができる全方位撮像システムを提供することもできる。
As described above, according to the present invention, it is possible to provide an omnidirectional imaging system capable of acquiring an image and distance information at a low cost.
It is also possible to provide an omnidirectional imaging system that can associate objects between stereo images with simple processing.
さらに、低コストで対象物の画像を記録することができる全方位撮像システムを提供することもできる。 Furthermore, it is possible to provide an omnidirectional imaging system that can record an image of an object at low cost.
さらにまた、実時間で逆透視投影映像を生成することが可能な全方位撮像システムを提供することもできる。
さらにまた、対象物の偽対応を起こすことなく、正確な対象物の三次元位置を特定することができる全方位撮像システムを提供することもできる。
Furthermore, it is possible to provide an omnidirectional imaging system capable of generating a reverse perspective projection image in real time.
Furthermore, it is possible to provide an omnidirectional imaging system capable of specifying an accurate three-dimensional position of an object without causing false correspondence of the object.
以下、図面を参照しながら本発明の実施の形態に係る全方位撮像システムについて説明する。
図1は、本発明の実施の形態に係る全方位撮像システムのハードウェア構成を示すブロック図である。全方位撮像システム20は、全方位カメラ22と、ジャイロセンサ24と、ポータブルPC(Personal Computer)26と、ビデオサーバ28とを備えている。
Hereinafter, an omnidirectional imaging system according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a hardware configuration of an omnidirectional imaging system according to an embodiment of the present invention. The
全方位カメラ22は、周囲360度の映像を一度に撮像可能なカメラである。全方位カメラ22の詳細については後述する。ジャイロセンサ24は、全方位カメラ22の傾きを検出するためのセンサである。ポータブルPC26は、ジャイロセンサ24で検出された全方位カメラ22の傾きに基づいて、全方位カメラ22で撮像される映像の傾きを補正し、映像切り出しを行う。また、ポータブルPC26は、無線ネットワーク等によりビデオサーバ28に接続され、ビデオサーバ28に切り出された映像を送信する。さらに、ビデオサーバ28から得られた監視の判断結果に基づいて、アラームを出力したりする。さらにまた、ビデオサーバ28から得られる画像を表示したりする。
The
ビデオサーバ28は、無線ネットワーク等によりポータブルPC26に接続され、ビデオサーバ28より受信した映像を解析し、全方位カメラ22の周囲に対象物が侵入したか否かの判断を行ったり、対象物の画像を生成したりする。ビデオサーバ28は、その判断結果や対象物の画像をポータブルPC26に送信する。
The
図2は、全方位カメラ22の構成を示す外観図である。全方位カメラ22は、全方位ミラー32と、カメラ34とを備えている。全方位ミラー32は、周囲360°の方向から入射した光を反射するミラーである。全方位ミラー32の詳細については後述する。カメラ34は、全方位ミラー32で反射された画像を撮像する。
FIG. 2 is an external view showing the configuration of the
図3は、全方位カメラ22およびジャイロセンサ24の設置位置の一例を示す図である。図3に示すように、全方位カメラ22およびジャイロセンサ24を自動車の天井に設置し、周囲からの接近車や接近者等を監視するようにしてもよい。
FIG. 3 is a diagram illustrating an example of the installation positions of the
図4は、全方位カメラ22およびジャイロセンサ24の設置位置の他の一例を示す図である。図4に示すように、ショルダーバッグの肩位置に全方位カメラ22およびジャイロセンサ24を設置し、周囲からの接近者等を監視するようにしてもよい。
FIG. 4 is a diagram illustrating another example of the installation positions of the
図5は、全方位カメラ22およびジャイロセンサ24の設置位置のさらに他の一例を示す図である。図5に示すように、ランドセルに全方位カメラ22およびジャイロセンサ24を設置し、周囲からの接近者等を監視するようにしてもよい。
FIG. 5 is a diagram showing still another example of the installation positions of the
図6は、全方位カメラ22およびジャイロセンサ24の設置位置のさらに他の一例を示す図である。図6に示すように、帽子に全方位カメラ22およびジャイロセンサ24を設置し、周囲からの接近者等を監視するようにしてもよい。
FIG. 6 is a diagram showing still another example of the installation positions of the
図7は、全方位カメラ22およびジャイロセンサ24の設置位置のさらに他の一例を示す図である。図7に示すように、バイクに全方位カメラ22およびジャイロセンサ24を設置し、周囲からの接近物等を監視するようにしてもよい。なお、ポータブルPC26を運転者の視認可能な位置に置くことにより、運転者は、側方や後方の接近者等を監視することができる。
FIG. 7 is a diagram illustrating yet another example of the installation positions of the
図8は、全方位ミラー32の構成を示す外観図であり、(a)は側面図であり、(b)は底面図である。全方位ミラー32は、半円球形状のミラー32a上に6つの小さな半円球形状のミラー32bが一体形成されている。
このように、ユーザは超小型化された全方位カメラ22およびジャイロセンサ24を携帯することにより、獲得した情報から、接近する未確認対象物の存在を事前に知らされる。また、ポータブルPC26は、注意を促す表示システムを併せ持つ。全方位カメラで獲得した映像はユーザを中心として、全方向に広がりをもつが、ユーザから距離が離れると解像度が低下するため、判別が困難になる。しかし、ユーザ近傍では解像度が高く、認知可能な映像が得られる。
8A and 8B are external views showing the configuration of the
In this way, the user is informed in advance of the presence of an unconfirmed object to be approached from the acquired information by carrying the
また、上述のように、複数の半円球状のミラー32bを用いて、全方位ミラー32を形成している。このため、複数のカメラを用いた立体視と同様に、対象物の距離を検出することができる。図8に示したように、それぞれのミラー32bの曲面中心を結ぶ距離が基線長となり、それぞれのミラー32b間で視差が発生する。
Further, as described above, the
図9は、ある2つのミラー32bより得られる映像からの奥行き距離を求める方法について説明するための図である。ここでは、2つのミラー32bより得られる映像を映像42aおよび映像42bとする。基線長をdとすると、空間中の点44と、映像42aおよび映像42bとの関係は、次式(1)および次式(2)のように表すことができる。この式より各ミラー32bからの奥行きを算出することができる。図9では、2つの曲面から決定できる距離を表したが、同じ対象物は複数の曲面に投影されるため、全ての組合せからの距離が算出可能である。
FIG. 9 is a diagram for explaining a method for obtaining a depth distance from an image obtained from two
次に、実際に対象物までの距離を得る方法として2つの手法について述べる。
1つ目の方法は、投票による3次元検出である。二眼立体視において、画像間で対応する点を求めるのは複雑な処理が必要であるが、多眼視の場合、空間を所定の大きさのボクセルに区切り、画像から得られる視線をボクセルに投票すると、真の3次元点では複数の投票が得られる。従来の1台の全方位カメラでは視線が中心から放射状になるため、複数の視線を投票することが不可能であったが、複数のミラー32bを用いることで、投票が可能になった。その様子を図11に示す。カメラの近傍に検出限界の半径を持つ仮想的な球を生成する。球の内部を図12に示すようなボクセル52に区切り、複数のミラー32bより得られる画像の各々について、物体の視線が貫通するボクセルに投票を行なう。物体が球内にあるときには、必ず2本以上の視線からの投票が対応するボクセルにある。このことから、複数の投票があった(所定のしきい値以上の投票があった)ボクセルを物体の3次元位置とする。ただし、投票は近傍の球内に限定されるため、処理が簡便になる。
Next, two methods will be described as methods for actually obtaining the distance to the object.
The first method is three-dimensional detection by voting. In binocular stereoscopic vision, finding the corresponding points between images requires complicated processing, but in multi-view vision, the space is divided into voxels of a predetermined size, and the line of sight obtained from the images is converted into voxels. When voting, a true three-dimensional point results in multiple votes. With one conventional omnidirectional camera, the line of sight is radiating from the center, so it is impossible to vote for a plurality of lines of sight, but voting is possible by using a plurality of
なお、図13に示すように、検出限界の半径を持つ仮想的な球の表面を複数のセル54に区切り、セル54に対して投票を行なうようにしてもよい。このようにすることにより、仮想的な球内に物体が侵入する境界での投票を行なうことができ、さらに、投票は、球表面に限定されることより、さらに処理が簡便になる。
As shown in FIG. 13, the surface of a virtual sphere having a radius of detection limit may be divided into a plurality of
次に、2つ目の方法では、距離の代わりに、複数のミラー32bから得られる画像における視差の有無を検出する簡便な方法について述べる。図14に示すように、複数のミラー32bから獲得される全方位画像を一列に並べ立体画像(3次元画像)62を生成する。カメラ34から遠く離れた物体は上述のように方位が等しくなる。このため、画像間で視差が現れないため、立体画像62において直線64を描く。しかし、カメラ34の近傍に存在する対象物は視差を生じさせるため、基線長に依存して視差が現れる。このため、立体画像62においては曲線66を描く。したがって、立体画像64において、直線除去フィルターを利用し、直線64を除去することにより、簡便に視差がある領域だけを抜き出し、近傍の対象物と判定することができる。
Next, in the second method, a simple method for detecting the presence or absence of parallax in an image obtained from a plurality of
この奥行き距離は、ユーザから遠く離れるほど距離精度が低下する一方で、ユーザの近傍の対象物の距離は精度良く獲得できる。よって、図15に示すように、全方位撮像システム20によると、ユーザ近傍にあたかもバリア72が形成され、その内部に侵入した未確認対象物までの距離を測定し、その対象物を映像でユーザに知らせることができるようになる。
The distance accuracy of the depth distance decreases as the distance from the user increases. On the other hand, the distance of the object near the user can be obtained with high accuracy. Therefore, as shown in FIG. 15, according to the
なお、全方位カメラ22で撮像された映像は、ユーザにとって現実世界と異なり、周囲の全方向の映像が矩形の撮像面に映る。そのため、ユーザはカメラの方向を意識することなく全方向の情報を獲得することができる。しかし、全方位画像は屈折した画像となっているため、その画像を見ても、ユーザは対象物を認識するのは困難である。
このため、ユーザに違和感なく映像を伝えるには、映像を通常のカメラで撮影した画像と同様の透視投影画像に変換する必要がある。透視投影画像に変換する際のユーザの視線を獲得するため、上述のようにして、ユーザに近づく対象物を自動検出し、ユーザが見るべき方向(ユーザの視線方向)とする。
Note that the image captured by the
For this reason, in order to convey a video without a sense of incongruity to the user, it is necessary to convert the video into a perspective projection image similar to an image taken with a normal camera. In order to acquire the line of sight of the user when converting to a perspective projection image, the object approaching the user is automatically detected as described above, and the direction to be viewed by the user (the line of sight of the user) is set.
ユーザから対象物までの距離が、一定距離より近くなり仮想的なバリア72の内側に入った場合には、未確認対象物の接近として、ユーザにアラーム等により警告するとともに、その方向を提示する。それとともに、当該方向に基づいて、全方位カメラの映像を通常カメラの映像と同様になるように切り出して透視投影映像に変換し表示する。
ユーザが携帯する全方位カメラ22は、ユーザの周囲を撮影するが、携帯する際に、全方位カメラ22の傾きが無いように設定する。また、ユーザの動きとともに全方位カメラ22が動くため、動きによる傾きを補正するために、ユーザは、全方位カメラ22とともにジャイロセンサ24を携帯する。ジャイロセンサ24の出力に基づいて、傾きを補正した映像切り出しが行なわれる。これらの処理はユーザが持つポータブルPC26で処理される。一方、映像を蓄積するため、全方位カメラ22から得られた映像およびジャイロセンサ24の出力は、ビデオサーバ28に転送され、ビデオサーバ28においてユーザの行動履歴を常時蓄積するとともに、その行動履歴がポータブルPC26に転送される。
When the distance from the user to the object is closer than a certain distance and enters the inside of the
The
以上説明したように、本実施の形態によると、1台のカメラで6つのミラーで反射される光を撮像している。このため、ミラーで反射された画像間で対応付けを行なうことにより距離情報を得ることができる。このため、低コストで画像と距離情報とを獲得することが可能な全方位撮像システムを提供することができる。 As described above, according to the present embodiment, the light reflected by the six mirrors is captured by one camera. Therefore, distance information can be obtained by associating the images reflected by the mirror. For this reason, the omnidirectional imaging system which can acquire an image and distance information at low cost can be provided.
また、6つのミラーから得られる画像に基づいて、対象物までの距離を算出している。このため、2つのミラーから得られる画像に基づいて対象物の対応付けを行う場合と異なり、対象物の偽対応を起こすことなく、正確な対象物の三次元位置を特定することができる全方位撮像システムを提供することができる。 Further, the distance to the object is calculated based on images obtained from the six mirrors. Therefore, unlike the case where the objects are associated based on the images obtained from the two mirrors, it is possible to specify an accurate three-dimensional position of the object without causing false correspondence of the object. An imaging system can be provided.
さらに、投票または立体画像から曲線抽出という手法により、対象物までの距離を求めることができる。よって、高速に全方位の距離を測定できるとともに、ユーザの近傍で高精度の測定結果が得られる。このため、一定距離以内に近づく対象物に対して警告を発し、その映像を表示することができる。 Further, the distance to the object can be obtained by a technique of voting or extracting a curve from a stereoscopic image. Therefore, the omnidirectional distance can be measured at high speed, and a highly accurate measurement result can be obtained near the user. For this reason, a warning can be issued to an object approaching within a certain distance, and the video can be displayed.
また、距離情報に基づいて、ユーザまでの到達時間を事前に予測検知することもできる。このため、このシステムは自転車、バイクを含む車両に利用でき、運転時における近傍の交通からの安全確保にも利用可能である。特に、高速道路などでは、隣接レーンを走行する車両に気付かずに車線変更すると大事故に繋がるが、側後方を監視するこの発明を利用することで、事前にドライバーに注意を促し、その映像で危険を確認させることができる。またこの映像は走行記録になることから、事故が発生したときの状況証拠として利用することができる。 Moreover, the arrival time to the user can be predicted and detected in advance based on the distance information. Therefore, this system can be used for vehicles including bicycles and motorcycles, and can be used for ensuring safety from nearby traffic during driving. Especially on highways, etc., if you change the lane without noticing the vehicle running on the adjacent lane, it will lead to a major accident, but by using this invention that monitors the rear side, the driver is alerted in advance, The danger can be confirmed. Moreover, since this video is a running record, it can be used as a proof of the situation when an accident occurs.
以上、本発明の実施の形態に係る全方位撮像システムについて説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、ミラー32bとして半円球の曲面ミラーを用いたが、双曲面ミラー、放物面ミラー等の周囲360度の光を反射可能なミラーであればどのような形状であってもよい。
また、ミラー32bの個数は6個に限定されるものではなく、それ以上であってもよいし、それ以下であってもよい。
The omnidirectional imaging system according to the embodiment of the present invention has been described above, but the present invention is not limited to this embodiment.
For example, although a hemispherical curved mirror is used as the
Further, the number of
本発明は、全方位撮像システムに適用可能であり、特に、ユーザや自転車およびバイクを含む車両の周辺環境の監視等に適用可能である。 The present invention can be applied to an omnidirectional imaging system, and in particular, can be applied to monitoring a surrounding environment of a vehicle including a user, a bicycle and a motorcycle.
20 全方位撮像システム
22 全方位カメラ
24 ジャイロセンサ
26 ポータブルPC
28 ビデオサーバ
32 全方位ミラー
34 カメラ
32a,32b ミラー
52 ボクセル
54 セル
62 立体画像
72 バリア
20
28
Claims (11)
前記3つ以上のミラーで反射される光を撮像する1つのカメラとを備える
ことを特徴とする全方位撮像システム。 Three or more mirrors each having a shape capable of reflecting 360 degrees of ambient light;
An omnidirectional imaging system comprising: one camera that images light reflected by the three or more mirrors.
前記ミラー組み合わせ抽出手段で抽出されたミラーの組み合わせの各々について、前記カメラで撮像された画像中より得られる当該組み合わせに含まれる2つのミラーでの反射映像と前記2つのミラーの基線長とに基づいて、対象物までの距離を算出する距離算出手段とを備える
ことを特徴とする請求項1に記載の全方位撮像システム。 Furthermore, mirror combination extraction means for extracting a combination of two mirrors from the three or more mirrors;
For each of the mirror combinations extracted by the mirror combination extraction means, based on the reflected video from the two mirrors included in the combination obtained from the image captured by the camera and the baseline length of the two mirrors The omnidirectional imaging system according to claim 1, further comprising a distance calculating unit that calculates a distance to the object.
前記対象物が前記仮想球面内に侵入した場合に、警告を発する警告発生手段とを備える
ことを特徴とする請求項2に記載の全方位撮像システム。 A determination unit configured to determine whether or not the object has entered a virtual spherical surface having a predetermined radius centered on the camera based on a distance to the object;
The omnidirectional imaging system according to claim 2, further comprising warning generation means for issuing a warning when the object enters the virtual spherical surface.
前記カメラを中心とし、所定の大きさのボクセルで区切られた仮想的な球を生成する仮想球生成手段と、
前記視線方向取得手段で求められた視線と交差するボクセルに投票をする投票手段と、
投票結果に基づいて、所定のしきい値以上の投票が行なわれたボクセルに基づいて、対象物の三次元位置を特定する三次元位置特定手段とを備える
ことを特徴とする請求項1に記載の全方位撮像システム。 Furthermore, based on each of the reflected images of the three or more mirrors included in the image captured by the camera, a line-of-sight direction obtaining unit that obtains a line-of-sight direction from the camera to the object;
Virtual sphere generating means for generating a virtual sphere centered on the camera and separated by voxels of a predetermined size;
Voting means for voting on voxels that intersect the line of sight obtained by the line-of-sight direction obtaining means;
The three-dimensional position specifying means for specifying a three-dimensional position of an object based on a voxel for which voting equal to or greater than a predetermined threshold is performed based on a voting result. Omnidirectional imaging system.
前記カメラの周辺に所定の大きさのセルで区切られた仮想的な球表面を生成する仮想球表面生成手段と、
前記視線方向取得手段で求められた視線と交差するセルに投票をする投票手段と、
投票結果に基づいて、所定のしきい値以上の投票が行なわれたセルに基づいて、対象物の三次元位置を特定する三次元位置特定手段とを備える
ことを特徴とする請求項1に記載の全方位撮像システム。 Furthermore, based on each of the reflected images of the three or more mirrors included in the image captured by the camera, a line-of-sight direction obtaining unit that obtains a line-of-sight direction from the camera to the object;
Virtual sphere surface generation means for generating a virtual sphere surface divided by cells of a predetermined size around the camera;
Voting means for voting on a cell that intersects the line of sight obtained by the line-of-sight direction obtaining means;
The three-dimensional position specifying means for specifying a three-dimensional position of an object based on a cell in which voting equal to or greater than a predetermined threshold is performed based on a voting result. Omnidirectional imaging system.
前記対象物が前記仮想球面内に侵入した場合に、前記カメラで撮像された画像に基づいて、前記対象物を通常のカメラから見た画像へ透視投影変換し、透視投影変換後の画像をユーザに提示する透視投影変換手段とを備える
ことを特徴とする請求項4または5に記載の全方位撮像システム。 A determination unit configured to determine whether or not the object has entered a virtual spherical surface having a predetermined radius centered on the camera based on a three-dimensional position of the object;
When the target object enters the virtual spherical surface, based on the image captured by the camera, the target object is perspective-projected into an image viewed from a normal camera, and the image after the perspective projection conversion is converted to a user. The omnidirectional imaging system according to claim 4, further comprising: a perspective projection conversion unit presented in
ことを特徴とする請求項6に記載の全方位撮像システム。 The omnidirectional imaging system according to claim 6, further comprising recording means for recording the image after the perspective projection conversion.
前記立体画像中より曲線を抽出する曲線抽出手段と、
前記曲線抽出手段での抽出結果に基づいて、前記カメラから所定の距離内に対象物が存在するか否かを判断する判断手段とを備える
ことを特徴とする請求項1に記載の全方位撮像システム。 Furthermore, a stereoscopic image generation means for generating a stereoscopic image by arranging the reflection images of the three or more mirrors included in the image captured by the camera in a line;
Curve extracting means for extracting a curve from the stereoscopic image;
2. The omnidirectional imaging according to claim 1, further comprising: a determination unit configured to determine whether or not an object is present within a predetermined distance from the camera based on an extraction result of the curve extraction unit. system.
前記立体画像中より直線を除去する除去部と、
直線が除去された前記立体画像中より曲線を抽出する抽出部とを有する
ことを特徴とする請求項8に記載の全方位撮像システム。 The curve extracting means includes
A removal unit for removing a straight line from the stereoscopic image;
The omnidirectional imaging system according to claim 8, further comprising: an extraction unit that extracts a curve from the stereoscopic image from which a straight line is removed.
ことを特徴とする請求項8または9に記載の全方位撮像システム。 10. The apparatus according to claim 8, further comprising warning generation means for issuing a warning when the object enters within the predetermined distance from the camera based on a determination result of the determination means. Omnidirectional imaging system.
前記カメラの傾きに基づいて、前記カメラで撮像される映像の傾きを補正する傾き補正手段とを備える
ことを特徴とする請求項1〜10のいずれか1項に記載の全方位撮像システム。 Furthermore, an inclination detecting means for detecting the inclination of the camera;
The omnidirectional imaging system according to any one of claims 1 to 10, further comprising an inclination correction unit that corrects an inclination of an image captured by the camera based on an inclination of the camera.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004043320A JP4554954B2 (en) | 2004-02-19 | 2004-02-19 | Omnidirectional imaging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004043320A JP4554954B2 (en) | 2004-02-19 | 2004-02-19 | Omnidirectional imaging system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005234224A true JP2005234224A (en) | 2005-09-02 |
JP4554954B2 JP4554954B2 (en) | 2010-09-29 |
Family
ID=35017245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004043320A Expired - Fee Related JP4554954B2 (en) | 2004-02-19 | 2004-02-19 | Omnidirectional imaging system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4554954B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100763941B1 (en) | 2006-02-09 | 2007-10-05 | 전북대학교산학협력단 | Equipment of Image Stereo Omni-Directional |
WO2012124275A1 (en) * | 2011-03-11 | 2012-09-20 | Sony Corporation | Image processing apparatus, image processing method, and program |
JP2013038775A (en) * | 2011-08-10 | 2013-02-21 | Seiko Epson Corp | Ray image modeling for fast catadioptric light field rendering |
JP2014099885A (en) * | 2013-12-27 | 2014-05-29 | Olympus Imaging Corp | Imaging apparatus and image processing method |
US9110365B2 (en) | 2009-11-19 | 2015-08-18 | Olympus Corporation | Imaging apparatus |
US9244258B2 (en) | 2010-06-24 | 2016-01-26 | Panasonic Corporation | Omnidirectional imaging system |
KR101898541B1 (en) * | 2017-04-14 | 2018-09-14 | 한국항공우주연구원 | Distance calculation system of moving device |
US10587799B2 (en) | 2015-11-23 | 2020-03-10 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for controlling electronic apparatus thereof |
JP2020526096A (en) * | 2017-06-29 | 2020-08-27 | リンクフロー カンパニー リミテッド | Optimal situation determination imaging method and apparatus for performing such method |
WO2022018836A1 (en) * | 2020-07-21 | 2022-01-27 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6969121B2 (en) | 2017-03-17 | 2021-11-24 | 株式会社リコー | Imaging system, image processing device and image processing program |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0815413A (en) * | 1994-06-24 | 1996-01-19 | Mitsubishi Electric Corp | Distance measuring apparatus |
JPH1195344A (en) * | 1997-09-18 | 1999-04-09 | Matsushita Electric Ind Co Ltd | Omniazimuth stereoscopic picture taking device |
JPH11242745A (en) * | 1998-02-25 | 1999-09-07 | Victor Co Of Japan Ltd | Method for measuring and processing facial image |
JP2001141423A (en) * | 1999-11-11 | 2001-05-25 | Fuji Photo Film Co Ltd | Image pickup device and image processor |
JP2001258050A (en) * | 2000-03-14 | 2001-09-21 | Nippon Hoso Kyokai <Nhk> | Stereoscopic video imaging device |
JP2002094969A (en) * | 2000-09-14 | 2002-03-29 | Suekage Sangyo Kk | Supervisory system |
JP2002535700A (en) * | 1999-01-15 | 2002-10-22 | ジ・オーストラリアン・ナショナル・ユニバーシティー | Resolution-invariant panoramic imaging |
-
2004
- 2004-02-19 JP JP2004043320A patent/JP4554954B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0815413A (en) * | 1994-06-24 | 1996-01-19 | Mitsubishi Electric Corp | Distance measuring apparatus |
JPH1195344A (en) * | 1997-09-18 | 1999-04-09 | Matsushita Electric Ind Co Ltd | Omniazimuth stereoscopic picture taking device |
JPH11242745A (en) * | 1998-02-25 | 1999-09-07 | Victor Co Of Japan Ltd | Method for measuring and processing facial image |
JP2002535700A (en) * | 1999-01-15 | 2002-10-22 | ジ・オーストラリアン・ナショナル・ユニバーシティー | Resolution-invariant panoramic imaging |
JP2001141423A (en) * | 1999-11-11 | 2001-05-25 | Fuji Photo Film Co Ltd | Image pickup device and image processor |
JP2001258050A (en) * | 2000-03-14 | 2001-09-21 | Nippon Hoso Kyokai <Nhk> | Stereoscopic video imaging device |
JP2002094969A (en) * | 2000-09-14 | 2002-03-29 | Suekage Sangyo Kk | Supervisory system |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100763941B1 (en) | 2006-02-09 | 2007-10-05 | 전북대학교산학협력단 | Equipment of Image Stereo Omni-Directional |
US9110365B2 (en) | 2009-11-19 | 2015-08-18 | Olympus Corporation | Imaging apparatus |
US9244258B2 (en) | 2010-06-24 | 2016-01-26 | Panasonic Corporation | Omnidirectional imaging system |
WO2012124275A1 (en) * | 2011-03-11 | 2012-09-20 | Sony Corporation | Image processing apparatus, image processing method, and program |
JP2012190299A (en) * | 2011-03-11 | 2012-10-04 | Sony Corp | Image processing system and method, and program |
JP2013038775A (en) * | 2011-08-10 | 2013-02-21 | Seiko Epson Corp | Ray image modeling for fast catadioptric light field rendering |
JP2014099885A (en) * | 2013-12-27 | 2014-05-29 | Olympus Imaging Corp | Imaging apparatus and image processing method |
US10587799B2 (en) | 2015-11-23 | 2020-03-10 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for controlling electronic apparatus thereof |
US10992862B2 (en) | 2015-11-23 | 2021-04-27 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for controlling electronic apparatus thereof |
KR101898541B1 (en) * | 2017-04-14 | 2018-09-14 | 한국항공우주연구원 | Distance calculation system of moving device |
JP2020526096A (en) * | 2017-06-29 | 2020-08-27 | リンクフロー カンパニー リミテッド | Optimal situation determination imaging method and apparatus for performing such method |
WO2022018836A1 (en) * | 2020-07-21 | 2022-01-27 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
US12106439B2 (en) | 2020-07-21 | 2024-10-01 | Sony Group Corporation | Device and associated methodology for suppressing interaction delay of interacting with a field of view of a mobile terminal on a different display |
Also Published As
Publication number | Publication date |
---|---|
JP4554954B2 (en) | 2010-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8599266B2 (en) | Digital processing of video images | |
US7126630B1 (en) | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method | |
KR101634966B1 (en) | Image tracking system using object recognition information based on Virtual Reality, and image tracking method thereof | |
JP5872818B2 (en) | Positioning processing device, positioning processing method, and image processing device | |
EP1030188A1 (en) | Situation awareness system | |
US20040075544A1 (en) | System and method for monitoring the surrounding area of a vehicle | |
Zhu et al. | Panoramic virtual stereo vision of cooperative mobile robots for localizing 3d moving objects | |
CN104902246A (en) | Video monitoring method and device | |
JP4554954B2 (en) | Omnidirectional imaging system | |
WO2005088971A1 (en) | Image generation device, image generation method, and image generation program | |
WO2012056443A2 (en) | Tracking and identification of a moving object from a moving sensor using a 3d model | |
JP2008517320A (en) | Linear aberration correcting mirror and video system including the same | |
JPWO2011064831A1 (en) | Diagnostic device and diagnostic method | |
RU2268497C2 (en) | System and method for automated video surveillance and recognition of objects and situations | |
KR101985711B1 (en) | Augmented reality CCTV system, and control method for the same | |
CN109920048A (en) | Monitored picture generation method and device | |
CN111294586A (en) | Image display method and device, head-mounted display equipment and computer readable medium | |
Satoh et al. | An omnidirectional stereo vision-based smart wheelchair | |
CN113424522A (en) | Three-dimensional tracking using hemispherical or spherical visible depth images | |
KR20130071842A (en) | Apparatus and method for providing environment information of vehicle | |
CN113401058A (en) | Real-time display method and system for automobile A column blind area based on three-dimensional coordinates of human eyes | |
US20200128188A1 (en) | Image pickup device and image pickup system | |
CN114425991A (en) | Image processing method, medium, device and image processing system | |
KR101893368B1 (en) | Method and system for measuring three dimensional visibility combined with traffic monitoring | |
KR102546045B1 (en) | monitering system with LiDAR for a body |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070119 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070402 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100629 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100715 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |