JP2015139031A - Imaging system - Google Patents

Imaging system Download PDF

Info

Publication number
JP2015139031A
JP2015139031A JP2014008241A JP2014008241A JP2015139031A JP 2015139031 A JP2015139031 A JP 2015139031A JP 2014008241 A JP2014008241 A JP 2014008241A JP 2014008241 A JP2014008241 A JP 2014008241A JP 2015139031 A JP2015139031 A JP 2015139031A
Authority
JP
Japan
Prior art keywords
image
camera
electromagnetic wave
radar
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014008241A
Other languages
Japanese (ja)
Other versions
JP6191473B2 (en
Inventor
康夫 松宮
Yasuo Matsumiya
康夫 松宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014008241A priority Critical patent/JP6191473B2/en
Publication of JP2015139031A publication Critical patent/JP2015139031A/en
Application granted granted Critical
Publication of JP6191473B2 publication Critical patent/JP6191473B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To align plural images with each other and synthesize them, even when there is not a feature portion included in common in the respective images.SOLUTION: An imaging system comprises: a first camera 1 which images a first area X; a second camera 2 which images a second area Y; and a computer 3 which acquires an image 1B including the locus of electromagnetic waves applied to an area Z in which the first area and the second area overlap with each other and generates a synthetic image 20 by synthesizing the first image 1A acquired from the first camera and the second image 2A acquired from the second camera on the basis of the position of the locus of the electromagnetic waves included in the image 1B.

Description

本発明は、撮像システムに関する。   The present invention relates to an imaging system.

例えば全方位を監視する用途などでは、複数のカメラのそれぞれによって撮像された複数の画像を合成して利用する場合がある。
この場合、各画像に共通に含まれる特徴部分に基づいて複数の画像を互いに位置合わせして合成することが行なわれる。 For example, in applications such as monitoring all directions, a plurality of images captured by a plurality of cameras may be combined and used.
In this case, a plurality of images are aligned with each other and synthesized based on a feature portion included in each image in common.

特開２００９−１８２５３６号公報JP 2009-182536 A 特開２０１２−７３０９９号公報JP 2012-73099 A 特開２００９−２７２９１１号公報JP 2009-272911 A

しかしながら、例えば夜間の高空や遠洋海上など目立った特徴のない景色を撮像した場合など、各画像に共通に含まれる特徴部分がない場合があり、この場合、各画像に共通に含まれる特徴部分に基づいて複数の画像を互いに位置合わせして合成するのが難しい。
そこで、各画像に共通に含まれる特徴部分がない場合であっても、複数の画像を互いに位置合わせして合成できるようにしたい。 However, there are cases where there is no feature part that is commonly included in each image, such as when shooting a scene with no outstanding features such as the night sky and the ocean, and in this case, the feature part that is commonly included in each image Based on this, it is difficult to align and synthesize a plurality of images.
Therefore, even when there is no feature part commonly included in each image, it is desired that a plurality of images can be aligned and combined with each other.

本撮像システムは、第１領域を撮像する第１カメラと、第２領域を撮像する第２カメラと、第１領域と第２領域とが重なっている領域に照射された電磁波の軌跡を含む画像を取得し、画像内に含まれる電磁波の軌跡の位置に基づいて、第１カメラから取得した第１画像と第２カメラから取得した第２画像とを合成して合成画像を生成するコンピュータとを備えることを要件とする。   The imaging system includes a first camera that captures an image of a first area, a second camera that captures an image of a second area, and an image including a locus of electromagnetic waves applied to an area where the first area and the second area overlap. And a computer that generates a composite image by combining the first image acquired from the first camera and the second image acquired from the second camera based on the position of the locus of the electromagnetic wave included in the image. It is a requirement to prepare.

したがって、本撮像システムによれば、各画像に共通に含まれる特徴部分がない場合であっても、複数の画像を互いに位置合わせして合成できるという利点がある。   Therefore, according to the present imaging system, there is an advantage that a plurality of images can be aligned with each other and combined even when there is no feature part commonly included in each image.

（Ａ）は本実施形態にかかる撮像システムの構成を示す模式図であり、（Ｂ）は第１カメラ及び第２カメラによって撮像された画像を示す模式図であり、（Ｃ）は第１カメラ及び第２カメラによって撮像された画像を合成した合成画像を示す模式図である。(A) is a schematic diagram which shows the structure of the imaging system concerning this embodiment, (B) is a schematic diagram which shows the image imaged with the 1st camera and the 2nd camera, (C) is the 1st camera. It is a schematic diagram which shows the synthesized image which synthesize | combined the image imaged with the 2nd camera. 本実施形態にかかる撮像システムに備えられる第１カメラ及び第２カメラを構成するイメージセンサが検知する波長域及び位置合わせ用マーカとして照射する電磁波の波長について説明するための図である。It is a figure for demonstrating the wavelength range of the electromagnetic wave irradiated as a wavelength range and the alignment marker which the image sensor which comprises the 1st camera and 2nd camera with which the imaging system concerning this embodiment comprises is detected. 本実施形態にかかる撮像システムのハードウェア構成を示す模式図である。It is a schematic diagram which shows the hardware constitutions of the imaging system concerning this embodiment. 本実施形態にかかる撮像システムに備えられるコンピュータの機能構成を示す模式図である。It is a schematic diagram which shows the function structure of the computer with which the imaging system concerning this embodiment is equipped. 本実施形態にかかる撮像システムの動作のタイミングチャートを示す図である。It is a figure which shows the timing chart of operation | movement of the imaging system concerning this embodiment. （Ａ）は本実施形態にかかる撮像システムにおいて用いられる表を示す図であり、（Ｂ）は第１カメラ及び第２カメラによって撮像された画像を示す模式図であり、（Ｃ）は第１カメラ及び第２カメラによって撮像された画像を重ね合わせた画像を示す模式図である。(A) is a figure which shows the table | surface used in the imaging system concerning this embodiment, (B) is a schematic diagram which shows the image imaged with the 1st camera and the 2nd camera, (C) is 1st. It is a schematic diagram which shows the image which overlap | superposed the image imaged with the camera and the 2nd camera. （Ａ）は本実施形態の変形例にかかる撮像システムの構成を示す模式図であり、（Ｂ）は第１レーダ及び第２レーダから得られたレーダ画像を示す模式図であり、（Ｃ）は第１カメラ及び第２カメラによって撮像された画像を合成した合成画像を示す模式図である。(A) is a schematic diagram which shows the structure of the imaging system concerning the modification of this embodiment, (B) is a schematic diagram which shows the radar image obtained from the 1st radar and the 2nd radar, (C) FIG. 4 is a schematic diagram illustrating a composite image obtained by combining images captured by a first camera and a second camera. 本実施形態の変形例にかかる撮像システムに備えられるコンピュータの機能構成を示す模式図である。It is a schematic diagram which shows the function structure of the computer with which the imaging system concerning the modification of this embodiment is equipped.

以下、図面により、本発明の実施の形態にかかる撮像システムについて説明する。
まず、本実施形態にかかる撮像システムについて、図１〜図６を参照しながら説明する。
本実施形態にかかる撮像システムは、例えば、複数のカメラを用いて全方位を監視する全方位監視システムに用いられる。 Hereinafter, an imaging system according to an embodiment of the present invention will be described with reference to the drawings.
First, an imaging system according to the present embodiment will be described with reference to FIGS.
The imaging system according to the present embodiment is used in, for example, an omnidirectional monitoring system that monitors omnidirectionality using a plurality of cameras.

本撮像システムでは、互いに隣接する領域を撮像する２つのカメラのそれぞれによって撮像された２つの画像を互いに位置合わせして合成することで、複数のカメラのそれぞれによって撮像された複数の画像を互いに位置合わせして合成するようになっている。例えば、単一のカメラを用いる場合には死角が発生することになるのに対し、複数のカメラのそれぞれによって撮像された複数の画像を互いに位置合わせして合成（結合）して高覆域の合成画像を得ることで、大きな視野を得て、全方位を継ぎ目なく監視できるようになっている。   In this imaging system, a plurality of images captured by each of a plurality of cameras are positioned relative to each other by combining and synthesizing two images captured by each of two cameras that capture areas adjacent to each other. They are designed to be combined. For example, when a single camera is used, a blind spot is generated. On the other hand, a plurality of images captured by each of a plurality of cameras are aligned and combined (combined) to form a high coverage area. By obtaining a composite image, it is possible to obtain a large field of view and monitor all directions seamlessly.

ここでは、互いに隣接する領域を撮像する２つのカメラ、即ち、第１カメラ及び第２カメラのそれぞれによって撮像された２つの画像を互いに位置合わせして合成する場合を例に挙げて説明する。
本撮像システムは、図１（Ａ）〜図１（Ｃ）に示すように、第１領域を撮像する第１カメラ１と、第２領域を撮像する第２カメラ２と、第１カメラ１から取得した第１画像１Ａと第２カメラ２から取得した第２画像２Ａとを合成して合成画像を生成するコンピュータ３とを備える。 Here, an example will be described in which two cameras that capture areas adjacent to each other, that is, two images captured by each of the first camera and the second camera are aligned and combined.
As shown in FIGS. 1A to 1C, the imaging system includes a first camera 1 that images a first area, a second camera 2 that images a second area, and a first camera 1. The computer 3 which synthesize | combines the acquired 1st image 1A and the 2nd image 2A acquired from the 2nd camera 2, and produces | generates a synthesized image is provided.

なお、図１（Ａ）中、符号Ｘは第１カメラ１の視野を示しており、符号Ｙは第２カメラ２の視野を示している。そして、第１カメラ１の視野Ｘに入っているものが第１カメラ１によって撮像されるため、第１カメラ１の視野領域は第１カメラ１が撮像する第１領域である。同様に、第２カメラ２の視野Ｙに入っているものが第２カメラ２によって撮像されるため、第２カメラ２の視野領域は第２カメラ２が撮像する第２領域である。また、図１（Ａ）中、符号Ｔ１、Ｔ２は遠方の被写体を示している。   In FIG. 1A, the symbol X indicates the field of view of the first camera 1, and the symbol Y indicates the field of view of the second camera 2. And since what is in the visual field X of the 1st camera 1 is imaged by the 1st camera 1, the visual field area | region of the 1st camera 1 is a 1st area | region which the 1st camera 1 images. Similarly, since what is in the visual field Y of the second camera 2 is imaged by the second camera 2, the visual field region of the second camera 2 is a second region imaged by the second camera 2. In FIG. 1A, reference numerals T1 and T2 indicate distant subjects.

特に、コンピュータ３は、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚ（共通領域）に照射された電磁波の軌跡を含む画像１Ｂ、２Ｂを取得する。なお、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚは、２つのカメラ、即ち、第１カメラ１と第２カメラ２の視野の重なる領域（共通視野領域）である。
本実施形態では、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに電磁波を照射することで、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに電磁波の軌跡を生じさせ、この電磁波の軌跡を含む画像１Ｂ、２Ｂを取得するようになっている。このため、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに電磁波を照射する電磁波源４を備える。この電磁波源４は、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚにレーザ光を照射するレーザ光源とすれば良い。そして、レーザ光源４によって第１領域Ｘと第２領域Ｙとが重なっている領域Ｚにレーザ光を照射すると、大気中のごみや塵などによる散乱（レーザ散乱）によってレーザ光の軌跡（光跡）が観察されるため、このレーザ光の軌跡を含む画像１Ｂ，２Ｂを取得することが可能となる。 In particular, the computer 3 acquires the images 1B and 2B including the locus of the electromagnetic wave irradiated on the area Z (common area) where the first area X and the second area Y overlap. The area Z where the first area X and the second area Y overlap is an area where the fields of view of the two cameras, that is, the first camera 1 and the second camera 2 overlap (common field area).
In the present embodiment, by irradiating an electromagnetic wave to a region Z where the first region X and the second region Y overlap, the locus of the electromagnetic wave is transferred to the region Z where the first region X and the second region Y overlap. The images 1B and 2B including the trajectory of the electromagnetic wave are generated. For this reason, the electromagnetic wave source 4 which irradiates electromagnetic waves to the area | region Z where the 1st area | region X and the 2nd area | region Y have overlapped is provided. The electromagnetic wave source 4 may be a laser light source that irradiates a region Z where the first region X and the second region Y overlap with each other. When a laser beam is irradiated onto the region Z where the first region X and the second region Y overlap with the laser light source 4, the locus (light trace) of the laser beam is caused by scattering (laser scattering) due to dust or dust in the atmosphere. ) Is observed, it is possible to acquire images 1B and 2B including the locus of the laser beam.

なお、このように第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに照射される電磁波又はこの電磁波の軌跡は、画像を合成する際に位置合わせに用いるものである、位置合わせ用マーカ又はマーカともいう。また、電磁波源４は、位置合わせ用マーカを発生するものであるため、位置合わせ用マーカの発生手段ともいう。
そして、コンピュータ３は、上記の画像１Ｂ、２Ｂ内に含まれる電磁波の軌跡の位置に基づいて、第１カメラ１から取得した第１画像１Ａと第２カメラ２から取得した第２画像２Ａとを合成して合成画像２０を生成するようになっている。なお、コンピュータ３は、画像を合成する機能を有するため、画像合成装置ともいう。 In addition, the electromagnetic wave irradiated to the area | region Z where the 1st area | region X and the 2nd area | region Y have overlapped in this way, or the locus | trajectory of this electromagnetic wave is used for alignment when combining images. Also called a marker or marker. Further, since the electromagnetic wave source 4 generates a positioning marker, it is also referred to as a positioning marker generating means.
Then, the computer 3 uses the first image 1A acquired from the first camera 1 and the second image 2A acquired from the second camera 2 based on the position of the locus of electromagnetic waves included in the images 1B and 2B. The synthesized image 20 is generated by synthesizing. Note that the computer 3 is also referred to as an image composition device because it has a function of compositing images.

これにより、例えば夜間の高空や遠洋海上など目立った特徴のない景色を撮像した場合など、各画像に共通に含まれる特徴部分（各画像の重ね合わせ部分の画像の共通点）がない場合であっても、正確かつ確実に２つの画像を互いに位置合わせして合成することができる。
つまり、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに特徴がない場合、第１カメラ１によって第１領域Ｘを撮像した第１画像と第２カメラ２によって第２領域Ｙを撮像した第２画像との重なり部分は映像上の特徴がないものとなる。この場合、正確かつ確実に第１画像と第２画像を合成することが困難である。そこで、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに電磁波を照射することで電磁波の軌跡を生じさせ、この電磁波の軌跡を利用することで、正確かつ確実に第１画像１Ａと第２画像２Ａを合成することができるようにしている。つまり、第１カメラ１によって第１領域Ｘを撮像した第１画像１Ａと第２カメラ２によって第２領域Ｙを撮像した第２画像２Ａとの重なり部分に映像上の特徴がない場合であっても、電磁波の軌跡を利用することで、正確かつ確実に第１画像１Ａと第２画像２Ａを合成することができるようにしている。 As a result, when there is no feature part that is commonly included in each image (common point of the overlapping part of each image), such as when shooting a scene with no outstanding features such as the high sky at night or in the ocean. However, the two images can be accurately and reliably aligned with each other and synthesized.
That is, if there is no feature in the area Z where the first area X and the second area Y overlap, the first image obtained by capturing the first area X by the first camera 1 and the second area Y by the second camera 2 The overlapping portion with the captured second image has no video feature. In this case, it is difficult to synthesize the first image and the second image accurately and reliably. Therefore, the electromagnetic wave is generated by irradiating the region Z where the first region X and the second region Y overlap, and the electromagnetic wave is generated, and the first image 1A is accurately and reliably used. And the second image 2A can be synthesized. That is, there is no video feature in the overlapping portion between the first image 1A obtained by imaging the first area X by the first camera 1 and the second image 2A obtained by imaging the second area Y by the second camera 2. However, the first image 1A and the second image 2A can be synthesized accurately and reliably by using the locus of electromagnetic waves.

例えば、固定点監視や小型の自動車などの用途では、各カメラの物理的配置を正確に把握できるため、一旦各カメラの位置関係を確定すると、容易に複数の画像を合成することが可能となる。これに対し、大型の船舶や航空機などにおいては船体や機体に物理的歪みが発生し、各カメラ間の位置関係（位置及び向き）がずれる場合があるため、各カメラの位置関係の情報を逐次取得することが必要になる。このような場合であっても、上述のようにして複数の画像を互いに位置合わせして合成することで、容易かつ正確に複数の画像を合成することが可能となる。なお、各カメラに加速度センサーなどを設置して位置関係の変化を把握することも考えられるが、例えば高加速度で機動する航空機などにおいては利用できない。   For example, in applications such as fixed-point monitoring and small automobiles, the physical arrangement of each camera can be accurately grasped, so that once the positional relationship between the cameras is determined, a plurality of images can be easily combined. . On the other hand, in large ships and aircraft, physical distortion occurs in the hull and aircraft, and the positional relationship (position and orientation) between the cameras may shift. It will be necessary to obtain. Even in such a case, it is possible to synthesize a plurality of images easily and accurately by aligning and synthesizing the plurality of images as described above. Although it is conceivable to install an acceleration sensor or the like in each camera to grasp the change in the positional relationship, it cannot be used in, for example, an aircraft that operates at high acceleration.

ここで、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに照射される電磁波は、大気中で吸収される波長の電磁波（例えばレーザ光；光束）であることが好ましい。この大気中で吸収される波長の電磁波は、大気を透過しにくい波長（即ち、大気中の透過率が低い波長）の電磁波であり、大気中で減衰率の大きい電磁波である。例えば、この電磁波は、水又は一酸化炭素の吸収波長に相当する波長の電磁波であることが好ましい。このうち、水の吸収波長に相当する波長の電磁波、即ち、Ｈ２Ｏの吸収が大きい電磁波は、約６μｍ付近の波長の電磁波（赤外線）である。この場合、電磁波源４としては、約６μｍ付近の波長のレーザ光を出射するレーザ光源を用いれば良い。例えば、レーザ光源４として、約６μｍ付近に発光波長を持つＳｂＳｎＳｅＴｅ系ＤＨ半導体レーザなどを用いれば良い。また、一酸化炭素の吸収波長に相当する波長の電磁波、即ち、ＣＯの吸収が大きい電磁波は、約４．５μｍ付近の波長の電磁波（赤外線）である。この場合、電磁波源４としては、約４．５μｍ付近の波長のレーザ光を出射するレーザ光源を用いれば良い。例えば、レーザ光源４として、約４．５μｍ付近の波長で発振しうる中赤外線チューナブルレーザ発振器などを用いれば良い。 Here, it is preferable that the electromagnetic wave irradiated to the area | region Z where the 1st area | region X and the 2nd area | region Y have overlapped is an electromagnetic wave (for example, laser beam; light beam) of the wavelength absorbed in air | atmosphere. The electromagnetic wave having a wavelength absorbed in the atmosphere is an electromagnetic wave having a wavelength that is difficult to transmit through the atmosphere (that is, a wavelength having a low transmittance in the atmosphere), and is an electromagnetic wave having a large attenuation rate in the atmosphere. For example, the electromagnetic wave is preferably an electromagnetic wave having a wavelength corresponding to the absorption wavelength of water or carbon monoxide. Among these, an electromagnetic wave having a wavelength corresponding to the absorption wavelength of water, that is, an electromagnetic wave having a large absorption of H 2 O is an electromagnetic wave (infrared ray) having a wavelength of about 6 μm. In this case, the electromagnetic wave source 4 may be a laser light source that emits laser light having a wavelength of about 6 μm. For example, an SbSnSeTe DH semiconductor laser having an emission wavelength in the vicinity of about 6 μm may be used as the laser light source 4. An electromagnetic wave having a wavelength corresponding to the absorption wavelength of carbon monoxide, that is, an electromagnetic wave having a large absorption of CO is an electromagnetic wave (infrared ray) having a wavelength of about 4.5 μm. In this case, the electromagnetic wave source 4 may be a laser light source that emits laser light having a wavelength of about 4.5 μm. For example, a mid-infrared tunable laser oscillator that can oscillate at a wavelength of about 4.5 μm may be used as the laser light source 4.

このような大気中で吸収される波長の電磁波を位置合わせ用マーカとして用いることで、複数の画像を合成した後の合成画像に影響を与えず、遠方からも探知（検知）不能となり、例えば監視の秘匿性を確保することが可能となる。例えば、約６μｍ付近の波長のレーザ光を位置合わせ用マーカとして用いる場合、このレーザ光はＨ２Ｏなどの吸収によって大気中を長距離伝搬しない。また、例えば、約４．５μｍ付近の波長のレーザ光を位置合わせ用マーカとして用いる場合、このレーザ光はＣＯなどの吸収によって大気中を長距離伝搬しない。このため、レーザ光の照射によって発生させたレーザ光の軌跡（レーザ散乱軌跡）は遠距離からは観測されず、遠方から探知不能であり、例えば監視の秘匿性を確保することができる。 By using an electromagnetic wave having a wavelength absorbed in the atmosphere as a positioning marker, the combined image after combining a plurality of images is not affected, and detection (detection) is impossible even from a distance. Can be secured. For example, when laser light having a wavelength of about 6 μm is used as an alignment marker, the laser light does not propagate in the atmosphere for a long distance due to absorption of H 2 O or the like. For example, when laser light having a wavelength of about 4.5 μm is used as an alignment marker, this laser light does not propagate in the atmosphere for a long distance due to absorption of CO or the like. For this reason, the locus (laser scattering locus) of the laser beam generated by the irradiation of the laser beam is not observed from a long distance and cannot be detected from a long distance. For example, confidentiality of monitoring can be ensured.

このため、本撮像システムは、図１（Ａ）に示すように、第１カメラ１と、第２カメラ２と、レーザ光源（電磁波源）４と、コンピュータ３とを備えることになる。
ここでは、第１カメラ１及び第２カメラ２は、物体が放射する赤外線の波長に感度を持つ赤外線イメージセンサを備える。このため、これらの第１及び第２カメラ１、２を赤外線カメラともいう。また、本撮像システムは、赤外線イメージセンサを備えるため、イメージセンサシステム又は赤外線イメージセンサシステムともいう。 For this reason, this imaging system is provided with the 1st camera 1, the 2nd camera 2, the laser light source (electromagnetic wave source) 4, and the computer 3, as shown to FIG. 1 (A).
Here, the 1st camera 1 and the 2nd camera 2 are provided with the infrared image sensor which has sensitivity to the wavelength of the infrared rays which an object radiates | emits. For this reason, these first and second cameras 1 and 2 are also referred to as infrared cameras. In addition, since the imaging system includes an infrared image sensor, the imaging system is also referred to as an image sensor system or an infrared image sensor system.

例えば、第１及び第２カメラ１、２は、室温付近の物体が放射する赤外線のうち、大気を透過しやすい約３〜約５μｍ付近（約４．５μｍ付近を除く）又は約８〜約１２μｍ付近の波長に感度を持つ赤外線カメラである（図２参照）。ここで、約３〜約５μｍ付近の波長に感度を持つ赤外線カメラ、即ち、約３〜約５μｍ付近の波長の赤外線画像を撮像することができる赤外線カメラとしては、例えばＩｎＳｂやＭＣＴを用いたものがある。また、約８〜約１２μｍ付近の波長に感度を持つ赤外線カメラ、即ち、約８〜約１２μｍ付近の波長の赤外線画像を撮像することができる赤外線カメラとしては、例えばＨｇ１−ｘＣｄｘＴｅ（ｘ＝０．２）を用いたものがある。なお、ここでは、Ｈｇ１−ｘＣｄｘＴｅ（ｘ＝０．２）を用いたものを例に挙げているが、例えば、V.Gueriaux et.al., “Design of broadband QWIPs”, Proc. Of SPIE Vol.8012 (2011)）などに記載されている多波長に感度を持つＱＷＩＰ（Quantum Wells Infrared Photodetector）などを用いたものとしても良い。また、約３〜約５μｍ付近（約４．５μｍ付近を除く）又は約８〜約１２μｍ付近の波長は、大気を透過しやすいため（大気の透過率がいいため）、大気の窓ともいう。このため、約３〜約５μｍ付近（約４．５μｍ付近を除く）又は約８〜約１２μｍ付近の波長に感度を持つ赤外線カメラは、大気の窓を利用した赤外線カメラである。このような赤外線カメラは、照明光源を必要とせずに昼夜を問わず良好な視界が得られ、良好な撮像が行なえるため、監視用途での需要が高い。 For example, the first and second cameras 1 and 2 have about 3 to about 5 μm (except about about 4.5 μm) or about 8 to about 12 μm that easily transmit through the atmosphere among infrared rays emitted from objects near room temperature. It is an infrared camera that is sensitive to nearby wavelengths (see FIG. 2). Here, as an infrared camera having a sensitivity at a wavelength of about 3 to about 5 μm, that is, an infrared camera capable of capturing an infrared image of a wavelength of about 3 to about 5 μm, for example, one using InSb or MCT There is. Further, as an infrared camera having a sensitivity at a wavelength of about 8 to about 12 μm, that is, an infrared camera capable of capturing an infrared image having a wavelength of about 8 to about 12 μm, for example, Hg 1-x Cd x Te ( Some use x = 0.2). Here, an example using Hg 1-x Cd x Te (x = 0.2) is given as an example. For example, V. Gueriaux et.al., “Design of broadband QWIPs”, Proc. Of SPIE Vol. 8012 (2011)) or the like, QWIP (Quantum Wells Infrared Photodetector) having sensitivity to multiple wavelengths may be used. In addition, a wavelength in the vicinity of about 3 to about 5 μm (excluding about 4.5 μm) or about 8 to about 12 μm is easily transmitted through the atmosphere (because the transmittance of the atmosphere is good) and is also referred to as an atmospheric window. For this reason, an infrared camera having sensitivity to a wavelength of about 3 to about 5 μm (excluding about 4.5 μm) or about 8 to about 12 μm is an infrared camera using an atmospheric window. Such an infrared camera has a high demand for monitoring applications because it can obtain a good field of view regardless of day and night without requiring an illumination light source and can perform good imaging.

本実施形態では、第１カメラ１及び第２カメラ２は、物体（被写体）が放射する赤外線の波長と位置合わせ用マーカとしてのレーザ光（電磁波）の波長との両方に感度を持つ赤外線イメージセンサを備えるものとしている。これにより、物体が放射する赤外線の波長に感度を持つ赤外線イメージセンサを備える第１カメラ１及び第２カメラ２によって、レーザ光源４によって第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに照射されたレーザ光の軌跡（レーザ光の散乱軌跡）を含む画像１Ｂ、２Ｂを撮像することが可能となる。また、このように、撮像用のカメラに通常の観察波長のほかに位置合わせ用マーカとしてのレーザ光の波長にも感度を持つイメージセンサを用いることで、位置合わせ用マーカとしてのレーザ光の波長に感度を持つイメージセンサを別体として設ける場合と比較して、これらの位置関係の調整が容易になる。   In the present embodiment, the first camera 1 and the second camera 2 are infrared image sensors that are sensitive to both the wavelength of infrared rays emitted from an object (subject) and the wavelength of laser light (electromagnetic waves) as alignment markers. It is supposed to be equipped with. As a result, a region Z in which the first region X and the second region Y are overlapped by the laser light source 4 by the first camera 1 and the second camera 2 each having an infrared image sensor sensitive to the infrared wavelength emitted by the object. It is possible to take images 1B and 2B including the locus of the laser beam irradiated to (the scattering locus of the laser beam). In addition, by using an image sensor that is sensitive to the wavelength of the laser beam as the alignment marker in addition to the normal observation wavelength, the wavelength of the laser beam as the alignment marker can be used. Compared with the case where an image sensor having sensitivity is provided separately, the positional relationship can be easily adjusted.

例えば、第１カメラ１及び第２カメラ２は、物体が放射して大気を透過してきた（即ち、大気中を伝搬してきた）赤外線の波長、即ち、約３〜約５μｍ付近（約４．５μｍ付近を除く）又は約８〜約１２μｍ付近の波長に感度を持ち、かつ、位置合わせ用マーカとしてのレーザ光の波長、即ち、約４．５μｍ付近又は約６μｍ付近の波長に感度を持つ赤外線イメージセンサを備えるものとすれば良い。例えば、Ｈｇ１−ｘＣｄｘＴｅ（ｘ＝０．２）を用いた赤外線イメージセンサは、図２中、符号Ａで示すように、約６〜約１２μｍ付近の波長に感度を持つ赤外線イメージセンサであるため、物体が放射して大気を透過してきた赤外線の波長、即ち、約８〜約１２μｍ付近の波長に感度を持ち、かつ、位置合わせ用マーカとしてのレーザ光の波長、即ち、約６μｍ付近の波長（図２中、符号Ｂ参照）に感度を持つ赤外線イメージセンサとして用いることができる。また、例えば、ＩｎＳｂやＭＣＴを用いた赤外線イメージセンサは、約３〜約５μｍ付近の波長に感度を持つ赤外線イメージセンサであるため、物体が放射して大気を透過してきた赤外線の波長、即ち、約３〜約５μｍ付近（約４．５μｍ付近を除く）の波長に感度を持ち、かつ、位置合わせ用マーカとしてのレーザ光の波長、即ち、約４．５μｍ付近の波長に感度を持つ赤外線イメージセンサとして用いることができる。 For example, in the first camera 1 and the second camera 2, the wavelength of infrared rays that have been emitted from an object and transmitted through the atmosphere (that is, propagated in the atmosphere), that is, about 3 to about 5 μm (about 4.5 μm). Infrared image having sensitivity at a wavelength of about 8 to about 12 μm and sensitivity to a wavelength of a laser beam as an alignment marker, that is, a wavelength of about 4.5 μm or about 6 μm. What is necessary is just to provide a sensor. For example, an infrared image sensor using Hg 1-x Cd x Te (x = 0.2) is an infrared image sensor having sensitivity at a wavelength in the vicinity of about 6 to about 12 μm, as indicated by symbol A in FIG. Therefore, it is sensitive to the wavelength of infrared rays that have been radiated from the object and transmitted through the atmosphere, that is, about 8 to about 12 μm, and the wavelength of the laser beam as the alignment marker, that is, about 6 μm. It can be used as an infrared image sensor having sensitivity to a nearby wavelength (see symbol B in FIG. 2). In addition, for example, an infrared image sensor using InSb or MCT is an infrared image sensor having sensitivity to a wavelength in the vicinity of about 3 to about 5 μm. Infrared image that is sensitive to wavelengths of about 3 to about 5 μm (excluding about 4.5 μm) and that is sensitive to the wavelength of the laser beam as the alignment marker, that is, about 4.5 μm. It can be used as a sensor.

なお、第１カメラ１及び第２カメラ２は、物体が放射する赤外線の波長に感度を持つ赤外線イメージセンサと、位置合わせ用マーカとしてのレーザ光（電磁波）の波長に感度を持つイメージセンサとを一体化したものを備えるものとしても良い。また、第１カメラ１及び第２カメラ２は、物体が放射する赤外線の波長に感度を持つ赤外線イメージセンサを備えるものとし、これらの第１カメラ１及び第２カメラ２に、それぞれ、位置合わせ用マーカとしてのレーザ光（電磁波）の波長に感度を持つイメージセンサを備える別の２つのカメラを固定して一体化するようにしても良い。これにより、別体として設ける場合と比較して、これらの位置関係の調整が容易になる。   The first camera 1 and the second camera 2 include an infrared image sensor sensitive to the infrared wavelength emitted by the object, and an image sensor sensitive to the wavelength of the laser beam (electromagnetic wave) as a positioning marker. It is good also as what has an integrated thing. Further, the first camera 1 and the second camera 2 are each provided with an infrared image sensor sensitive to the wavelength of infrared rays emitted from the object, and each of the first camera 1 and the second camera 2 is used for alignment. Two other cameras including an image sensor sensitive to the wavelength of laser light (electromagnetic wave) as a marker may be fixed and integrated. Thereby, compared with the case where it provides as a different body, adjustment of these positional relationships becomes easy.

そして、図１（Ａ）に示すように、第１カメラ１と第２カメラ２とは、それぞれの視野Ｘ、Ｙが一部重なるように配置している。つまり、第１カメラ１によって撮像される第１領域Ｘと第２カメラ２によって撮像される第２領域Ｙとが一部重なるように、第１カメラ１と第２カメラ２とを配置している。
また、本実施形態では、第２カメラ２とレーザ光源４のお互いの位置がずれないように、第２カメラ２にレーザ光源４を固定している。このようにして、レーザ光源４によるレーザ光の照射位置と第１カメラ１及び第２カメラ２の一方（ここでは第２カメラ２）が撮像する領域の位置との位置関係が固定されるようにするのが好ましい。これにより、コンピュータ３が第１カメラ１から取得した第１画像１Ａと第２カメラ２から取得した第２画像２Ａを合成して合成画像２０を生成する際の計算を容易にすることができる。そして、レーザ光源４から照射されたレーザ光が第１カメラ１と第２カメラ２の共通の視野、即ち、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚへ照射されるようにしている。 As shown in FIG. 1A, the first camera 1 and the second camera 2 are arranged so that their respective fields of view X and Y partially overlap. That is, the first camera 1 and the second camera 2 are arranged so that the first area X imaged by the first camera 1 and the second area Y imaged by the second camera 2 partially overlap. .
In the present embodiment, the laser light source 4 is fixed to the second camera 2 so that the positions of the second camera 2 and the laser light source 4 are not shifted from each other. In this way, the positional relationship between the irradiation position of the laser beam from the laser light source 4 and the position of the area captured by one of the first camera 1 and the second camera 2 (here, the second camera 2) is fixed. It is preferable to do this. Thereby, the calculation when the computer 3 generates the composite image 20 by combining the first image 1A acquired from the first camera 1 and the second image 2A acquired from the second camera 2 can be facilitated. The laser light emitted from the laser light source 4 is applied to the common field of view of the first camera 1 and the second camera 2, that is, the region Z where the first region X and the second region Y overlap. ing.

また、本実施形態では、コンピュータ３は、レーザ光源４によるレーザ光の照射／非照射を制御するとともに、第１カメラ１から取得した第１レーザ光照射時画像１Ｂ（第１電磁波照射時画像）内に含まれるレーザ光の軌跡（光跡）と第２カメラ２から取得した第２レーザ光照射時画像２Ｂ（第２電磁波照射時画像）内に含まれるレーザ光の軌跡との位置関係に基づいて、第１カメラ１から取得した第１レーザ光非照射時画像１Ａ（第１電磁波非照射時画像）と第２カメラ２から取得した第２レーザ光非照射時画像２Ａ（第２電磁波非照射時画像）とを合成して合成画像２０を生成するようになっている。   In the present embodiment, the computer 3 controls the irradiation / non-irradiation of the laser light by the laser light source 4 and the first laser light irradiation image 1B (first electromagnetic wave irradiation image) acquired from the first camera 1. Based on the positional relationship between the locus (light trail) of the laser beam included in the laser beam and the locus of the laser beam included in the second laser beam irradiation image 2B (second electromagnetic wave irradiation image) acquired from the second camera 2. The first laser light non-irradiation image 1A acquired from the first camera 1 (first electromagnetic wave non-irradiation image) and the second laser light non-irradiation image 2A acquired from the second camera 2 (second electromagnetic wave non-irradiation) The combined image 20 is generated by combining the time image).

これにより、第１画像１Ａと第２画像２Ａを合成した後の合成画像２０に位置合わせ用マーカとしてのレーザ光の軌跡が含まれないようにすることができる。これに対し、合成画像２０に位置合わせ用マーカが残っていると、その位置合わせ用マーカの部分が死角となってしまうため、例えば全方位を監視するという点では好ましくない。
ここでは、位置合わせ用マーカとして用いるレーザ光を点滅させ、第１カメラ１及び第２カメラ２のそれぞれの撮像フレームを、レーザ光の点滅と同期させ、レーザ光の点灯時、即ち、レーザ光を照射してレーザ光の軌跡を形成した時の撮像フレームを用いてレーザ光の軌跡を目印にして位置関係情報を取得し、取得された位置関係情報に基づいて、レーザ光の消灯時の撮像フレームを用いてレーザ光の軌跡を含まない合成画像を生成するようになっている。 Thereby, the locus | trajectory of the laser beam as a positioning marker can be prevented from being included in the synthesized image 20 after synthesizing the first image 1A and the second image 2A. On the other hand, if the alignment marker remains in the composite image 20, the alignment marker portion becomes a blind spot, which is not preferable, for example, in monitoring all directions.
Here, the laser beam used as the alignment marker is blinked, and the respective imaging frames of the first camera 1 and the second camera 2 are synchronized with the blinking of the laser beam. Using the imaging frame when the laser beam trajectory is formed by irradiation, the positional relationship information is acquired using the laser beam trajectory as a mark, and the imaging frame when the laser light is extinguished based on the acquired positional relationship information Is used to generate a composite image that does not include the locus of the laser beam.

具体的には、コンピュータ３は、そのハードウェア構成として、例えば図３に示すように、ＣＰＵ（Central Processing Unit）５、メモリ６、記憶装置７、入力装置８、表示装置９を備え、さらに、第１カメラ１及び第２カメラ２を制御し、これらから画像を取得し、取得した画像を処理するための画像処理回路１０、１１、レーザ光源４を駆動するためのレーザ駆動回路１２（電磁波源駆動回路）などを備えた構成になっている。なお、コンピュータ３のハードウェア構成はこれに限られるものではない。   Specifically, the computer 3 includes a CPU (Central Processing Unit) 5, a memory 6, a storage device 7, an input device 8, and a display device 9, as shown in FIG. The first camera 1 and the second camera 2 are controlled, images are acquired from them, image processing circuits 10 and 11 for processing the acquired images, and a laser drive circuit 12 for driving the laser light source 4 (electromagnetic wave source) Drive circuit). The hardware configuration of the computer 3 is not limited to this.

このようなハードウェア構成を備えるコンピュータ３において、ＣＰＵ５が、例えば記憶装置７に格納されているプログラムをメモリ６に読み出して実行することで、後述の各機能が実現される。
つまり、図４に示すように、コンピュータ３は、フレームタイミング発生部１３と、第１レーザ軌跡抽出部１４と、第２レーザ軌跡抽出部１５と、画像位置関係計算部１６と、合成画像生成部１７とを備える。 In the computer 3 having such a hardware configuration, for example, the CPU 5 reads out a program stored in the storage device 7 to the memory 6 and executes it, thereby realizing each function described later.
That is, as shown in FIG. 4, the computer 3 includes a frame timing generation unit 13, a first laser locus extraction unit 14, a second laser locus extraction unit 15, an image positional relationship calculation unit 16, and a composite image generation unit. 17.

ここで、フレームタイミング発生部１３は、フレームタイミング信号を出力する。そして、フレームタイミング発生部１３が出力したフレームタイミング信号に基づいて、画像処理回路１０、１１やレーザ駆動回路１２（図３参照）を介して、第１カメラ１、第２カメラ２、レーザ光源４が制御される。また、後述のように、第１レーザ軌跡抽出部１４、第２レーザ軌跡抽出部１５、合成画像生成部１７において、フレームタイミング発生部１３が出力したフレームタイミング信号に基づいた処理が行なわれるようになっている。   Here, the frame timing generator 13 outputs a frame timing signal. Based on the frame timing signal output from the frame timing generator 13, the first camera 1, the second camera 2, and the laser light source 4 are passed through the image processing circuits 10 and 11 and the laser drive circuit 12 (see FIG. 3). Is controlled. Further, as will be described later, in the first laser locus extraction unit 14, the second laser locus extraction unit 15, and the composite image generation unit 17, processing based on the frame timing signal output from the frame timing generation unit 13 is performed. It has become.

ここでは、図５に示すように、フレームタイミング発生部１３からのフレームタイミング信号に基づいて、第１カメラ１及び第２カメラ２の各フレームとレーザ光源４によるレーザ光の照射／非照射を同期させるようにしている。つまり、フレームタイミング発生部１３からのフレームタイミング信号に基づいて、第１カメラ１及び第２カメラ２からフレームタイミングの同期した第１画像１Ａ、１Ｂ及び第２画像２Ａ、２Ｂ［図１（Ｂ）、図１（Ｃ）参照］が出力されるようになっている。また、フレームタイミング発生部１３からのフレームタイミング信号に基づいて、レーザ光源４によるレーザ光の照射／非照射が繰り返されるようになっている。なお、レーザ光源４によるレーザ光の照射／非照射を、レーザ光源４によるレーザ光の発光／非発光、レーザ光源４によるレーザ光の点滅、レーザ光源４によるレーザ光の点灯／消灯、又は、レーザ光源４（レーザ出力）のオン／オフともいう。   Here, as shown in FIG. 5, the irradiation / non-irradiation of the laser light by the laser light source 4 and the frames of the first camera 1 and the second camera 2 is synchronized based on the frame timing signal from the frame timing generator 13. I try to let them. That is, based on the frame timing signal from the frame timing generation unit 13, the first images 1A and 1B and the second images 2A and 2B synchronized in frame timing from the first camera 1 and the second camera 2 [FIG. , See FIG. 1C]. Further, irradiation / non-irradiation of laser light by the laser light source 4 is repeated based on the frame timing signal from the frame timing generator 13. Laser light irradiation / non-irradiation by the laser light source 4 is performed by laser light emission / non-light emission by the laser light source 4, blinking of the laser light by the laser light source 4, turning on / off of the laser light by the laser light source 4, or laser It is also called ON / OFF of the light source 4 (laser output).

具体的には、フレームタイミング発生部１３からのフレームタイミング信号に同期してレーザ光源４によるレーザ光の照射を開始し、フレームタイミング信号の時間間隔の半分のタイミングでレーザ光源４によるレーザ光の照射を終了するように、レーザ光源４が制御されるようになっている。この場合、フレームタイミング信号の時間間隔の前半は、レーザ光源４によるレーザ光が照射状態となり、フレームタイミング信号の時間間隔の後半は、レーザ光源４によるレーザ光が非照射状態となるように、レーザ光源４が制御されることになる。このため、フレームタイミング信号の時間間隔の前半は、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚにレーザ光の軌跡が存在する状態となり、フレームタイミング信号の時間間隔の後半は、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚにレーザ光の軌跡が存在しない状態となる。   Specifically, laser light irradiation by the laser light source 4 is started in synchronization with the frame timing signal from the frame timing generator 13, and the laser light irradiation by the laser light source 4 is performed at half the time interval of the frame timing signal. The laser light source 4 is controlled so as to end the process. In this case, in the first half of the time interval of the frame timing signal, the laser light from the laser light source 4 is irradiated, and in the second half of the time interval of the frame timing signal, the laser light from the laser light source 4 is not irradiated. The light source 4 is controlled. For this reason, the first half of the time interval of the frame timing signal is in a state where the locus of the laser beam exists in the region Z where the first region X and the second region Y overlap, and the second half of the time interval of the frame timing signal is There is no laser beam locus in the region Z where the first region X and the second region Y overlap.

この場合、第１カメラ１が第１領域Ｘを撮像した第１画像は、フレームタイミング発生部１３からのフレームタイミング信号の時間間隔の前半は、レーザ光の軌跡が含まれている第１レーザ光照射時画像１Ｂとなり、フレームタイミング信号の時間間隔の後半は、レーザ光の軌跡が含まれていない第１レーザ光非照射時画像１Ａとなる。
また、第２カメラ２が第２領域Ｙを撮像した第２画像は、フレームタイミング発生部１３からのフレームタイミング信号の時間間隔の前半は、レーザ光の軌跡が含まれている第２レーザ光照射時画像２Ｂとなり、フレームタイミング信号の時間間隔の後半は、レーザ光の軌跡が含まれていない第２レーザ光非照射時画像２Ａとなる。 In this case, the first image of the first region X captured by the first camera 1 is the first laser beam in which the first half of the time interval of the frame timing signal from the frame timing generator 13 includes the locus of the laser beam. The irradiation time image 1B is obtained, and the second half of the time interval of the frame timing signal is the first laser light non-irradiation image 1A that does not include the locus of the laser light.
Further, the second image obtained by the second camera 2 picking up the second region Y is irradiated with the second laser beam in which the first half of the time interval of the frame timing signal from the frame timing generator 13 includes the locus of the laser beam. The second image becomes the time image 2B, and the second half of the time interval of the frame timing signal becomes the second laser light non-irradiation image 2A that does not include the locus of the laser light.

そして、フレームタイミング発生部１３からのフレームタイミング信号の時間間隔の前半は、第１カメラ１及び第２カメラ２から、フレームタイミングの同期した、レーザ光の軌跡が含まれている第１レーザ光照射時画像１Ｂ及び第２レーザ光照射時画像２Ｂが出力されるようになっている。また、フレームタイミング発生部１３からのフレームタイミング信号の時間間隔の後半は、第１カメラ１及び第２カメラ２から、フレームタイミングの同期した、レーザ光の軌跡が含まれていない第１レーザ光非照射時画像１Ａ及び第２レーザ光非照射時画像２Ａが出力されるようになっている。   The first half of the time interval of the frame timing signal from the frame timing generator 13 includes the first laser light irradiation including the locus of the laser light synchronized with the frame timing from the first camera 1 and the second camera 2. A time image 1B and a second laser light irradiation time image 2B are output. Further, in the second half of the time interval of the frame timing signal from the frame timing generator 13, the first camera light and the second camera 2 are synchronized with the frame timing and the first laser light non-contained that does not include the locus of the laser light. An irradiation time image 1A and a second laser light non-irradiation image 2A are output.

第１レーザ軌跡抽出部１４は、第１カメラ１から画像情報を取得し、レーザ光の軌跡を抽出する。ここでは、第１レーザ軌跡抽出部１４は、フレームタイミング発生部１３からのフレームタイミング信号に基づいて、第１カメラ１から、隣接するフレームにおける、レーザ光の軌跡が含まれていない第１レーザ光非照射時画像１Ａ、及び、レーザ光の軌跡が含まれている第１レーザ光照射時画像１Ｂを取得し、これらの差分を演算することなどによって、レーザ光の軌跡のみの画像（画像データ）を抽出する。ここでは、位置合わせ用マーカとして用いるレーザ光を第１カメラ１のフレームレートに同期させながら点滅させることで、レーザ光の軌跡が含まれていない第１レーザ光非照射時画像１Ａとレーザ光の軌跡が含まれている第１レーザ光照射時画像１Ｂとの差分でレーザ光の軌跡のみの画像を抽出することができる。このため、レーザ光の軌跡を検出する際のＳ／Ｎを向上させることができる。したがって、位置合わせ用マーカとして用いるレーザ光は弱い光でも良い。このように、ロックイン効果による感度向上を実現することができる。   The first laser locus extraction unit 14 acquires image information from the first camera 1 and extracts the locus of laser light. Here, the first laser trajectory extraction unit 14 is based on the frame timing signal from the frame timing generation unit 13, and the first laser light from the first camera 1 does not include the laser beam trajectory in the adjacent frame. The non-irradiation image 1A and the first laser beam irradiation image 1B including the laser beam trajectory are acquired, and the difference between them is calculated to obtain an image (image data) of only the laser beam trajectory. To extract. Here, the laser beam used as the alignment marker is blinked in synchronization with the frame rate of the first camera 1, so that the first laser beam non-irradiation image 1 </ b> A and the laser beam are not included. An image of only the laser beam trajectory can be extracted based on the difference from the first laser light irradiation image 1B including the trajectory. For this reason, S / N at the time of detecting the locus | trajectory of a laser beam can be improved. Therefore, the laser beam used as the alignment marker may be weak light. Thus, the sensitivity improvement by the lock-in effect can be realized.

第２レーザ軌跡抽出部１５は、第２カメラ２から画像情報を取得し、レーザ光の軌跡を抽出する。ここでは、第２レーザ軌跡抽出部１５は、フレームタイミング発生部１３からのフレームタイミング信号に基づいて、第２カメラ２から、隣接するフレームにおける、レーザ光の軌跡が含まれていない第２レーザ光非照射時画像２Ａ、及び、レーザ光の軌跡が含まれている第２レーザ光照射時画像２Ｂを取得し、これらの差分を演算することなどによって、レーザ光の軌跡のみの画像（画像データ）を抽出する。ここでは、位置合わせ用マーカとして用いるレーザ光を第２カメラ２のフレームレートに同期させながら点滅させることで、レーザ光の軌跡が含まれていない第２レーザ光非照射時画像２Ａとレーザ光の軌跡が含まれている第２レーザ光照射時画像２Ｂとの差分でレーザ光の軌跡のみの画像を抽出することができる。このため、レーザ光の軌跡を検出する際のＳ／Ｎを向上させることができる。したがって、位置合わせ用マーカとして用いるレーザ光は弱い光でも良い。このように、ロックイン効果による感度向上を実現することができる。   The second laser locus extraction unit 15 acquires image information from the second camera 2 and extracts the locus of laser light. Here, the second laser trajectory extraction unit 15 receives the second laser light from the second camera 2 that does not include the laser light trajectory in the adjacent frame based on the frame timing signal from the frame timing generation unit 13. The non-irradiation image 2A and the second laser beam irradiation image 2B including the laser beam trajectory are acquired, and the difference between them is calculated, for example, and the image of only the laser beam trajectory (image data). To extract. Here, the laser beam used as the alignment marker is blinked while being synchronized with the frame rate of the second camera 2, so that the second laser beam non-irradiation image 2A and the laser beam are not included. An image of only the laser beam trajectory can be extracted based on the difference from the second laser light irradiation image 2B including the trajectory. For this reason, S / N at the time of detecting the locus | trajectory of a laser beam can be improved. Therefore, the laser beam used as the alignment marker may be weak light. Thus, the sensitivity improvement by the lock-in effect can be realized.

画像位置関係計算部１６は、第１レーザ軌跡抽出部１４で抽出したレーザ光の軌跡のみの画像と第２レーザ軌跡抽出部１５で抽出したレーザ光の軌跡のみの画像とに基づいて、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成するための位置関係情報を計算する。
ここでは、画像位置関係計算部１６は、第１レーザ軌跡抽出部１４で抽出したレーザ光の軌跡のみの画像におけるレーザ光の軌跡の位置と第２レーザ軌跡抽出部１５で抽出したレーザ光の軌跡のみの画像におけるレーザ光の軌跡の位置とを求め、これらの位置関係に基づいて、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成するための位置ずれ情報を生成する。 The image positional relationship calculation unit 16 is based on the first image of the laser beam locus extracted by the first laser locus extraction unit 14 and the image of the laser beam locus extracted by the second laser locus extraction unit 15. The positional relationship information for generating the composite image 20 by combining the image 1A acquired from the camera 1 and the image 2A acquired from the second camera 2 is calculated.
Here, the image positional relationship calculation unit 16 includes the position of the laser beam locus in the image of only the laser beam locus extracted by the first laser locus extraction unit 14 and the locus of the laser light extracted by the second laser locus extraction unit 15. The image 1A acquired from the first camera 1 and the image 2A acquired from the second camera 2 are synthesized based on these positional relationships, and the combined image 20 is obtained. The positional deviation information for generating is generated.

具体的には、運用前に、特徴的被写体に対する第１カメラ１及び第２カメラ２の相対関係の位置情報を蓄積しておくのが好ましい。
例えば、運用前に、第２カメラ２に固定されているレーザ光源４からレーザ光を照射し、第２カメラ２の位置（向きを含む）に対して第１カメラ１の位置（向きを含む）を変化させながら、第１カメラ１及び第２カメラ２による撮像を行なう。そして、位置を変化させた第１カメラ１の各位置における画像１Ｂを取得し［図６（Ａ）参照］、レーザ光の軌跡の位置を求め、図６（Ａ）に示すように、第１カメラ１の位置及びレーザ光の軌跡の位置を対応づけて表を作成して記憶する。また、第２カメラ２から画像２Ｂを取得し［図６（Ｂ）参照］、レーザ光の軌跡の位置を求める。そして、位置を変化させた第１カメラ１の各位置における画像１Ｂ内のレーザ光の軌跡の位置と、第２カメラ２から取得した画像２Ｂ内のレーザ光の軌跡の位置とが一致するように、図６（Ｃ）に示すように、第１カメラ１の各位置における画像１Ｂと第２カメラ２から取得した画像２Ｂとを重ね合わせたときの位置ずれ情報（例えば重ね合わせるために位置をずらした量；図６（Ｃ）中、符号Ｘで示す）を求め、これも上記表に記憶する。この場合、第１カメラ１の各位置における画像１Ｂと第２カメラ２から取得した画像２Ｂとを重ね合わせたときの位置ずれ情報と第１カメラ１の各位置における画像１Ｂ内のレーザ光の軌跡の位置とは一対一に対応づけられる。なお、ここでは、レーザ光源４は第２カメラ２に固定されており、第２カメラ２から取得した画像２Ｂ内のレーザ光の軌跡の位置は常に同じ位置となり、この位置を基準として、第１カメラ１の各位置における画像１Ｂ内のレーザ光の軌跡の位置がどの程度ずれているかが位置ずれ情報として求められる。このため、第１カメラ１の各位置における画像１Ｂ内のレーザ光の軌跡の位置、及び、位置ずれ情報を対応づけて記憶しておけば良い。また、この位置ずれ情報は、第１カメラ１の各位置における画像１Ｂ内のレーザ光の軌跡の位置と第２カメラ２から取得した画像２Ｂ内のレーザ光の軌跡の位置との位置ずれ情報（位置関係情報）でもあり、また、第１カメラ１と第２カメラ２との位置ずれ情報（位置関係情報）でもある。 Specifically, it is preferable to store positional information of the relative relationship between the first camera 1 and the second camera 2 with respect to the characteristic subject before operation.
For example, before operation, the laser light source 4 fixed to the second camera 2 is irradiated with laser light, and the position (including direction) of the first camera 1 with respect to the position (including direction) of the second camera 2. The first camera 1 and the second camera 2 take an image while changing. Then, the image 1B at each position of the first camera 1 with the position changed is acquired [see FIG. 6A], the position of the locus of the laser light is obtained, and as shown in FIG. A table is created and stored in association with the position of the camera 1 and the position of the locus of the laser beam. Further, an image 2B is acquired from the second camera 2 [see FIG. 6B], and the position of the locus of the laser light is obtained. Then, the position of the locus of the laser light in the image 1B at each position of the first camera 1 whose position has been changed matches the position of the locus of the laser light in the image 2B acquired from the second camera 2. As shown in FIG. 6C, positional shift information when the image 1B at each position of the first camera 1 and the image 2B acquired from the second camera 2 are superimposed (for example, the position is shifted for superposition). (Indicated by the symbol X in FIG. 6C), and this is also stored in the above table. In this case, the positional deviation information when the image 1B at each position of the first camera 1 and the image 2B acquired from the second camera 2 are superimposed and the locus of the laser light in the image 1B at each position of the first camera 1. Are associated one-on-one. Here, the laser light source 4 is fixed to the second camera 2, and the position of the locus of the laser light in the image 2 </ b> B acquired from the second camera 2 is always the same position, and the first position is based on this position. How much the position of the locus of the laser beam in the image 1B at each position of the camera 1 is deviated is obtained as position deviation information. For this reason, the position of the locus of the laser beam in the image 1B at each position of the first camera 1 and the positional deviation information may be stored in association with each other. Further, this positional deviation information is positional deviation information between the position of the locus of the laser beam in the image 1B at each position of the first camera 1 and the position of the locus of the laser beam in the image 2B acquired from the second camera 2 ( (Positional relationship information) and positional deviation information (positional relationship information) between the first camera 1 and the second camera 2.

この場合、レーザ光の軌跡を含む２つの画像１Ｂ、２Ｂを取得し、これらの２つの画像１Ｂ、２Ｂ内に含まれるレーザ光の軌跡の位置関係に基づいて、図１（Ｃ）に示すように、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成することになる。ここでは、第１カメラ１から取得した画像１Ｂ内に含まれるレーザ光の軌跡と第２カメラ２から取得した画像２Ｂ内に含まれるレーザ光の軌跡との位置関係に基づいて、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成することになる。このように、レーザ光の軌跡を含む画像を取得し、その画像内に含まれるレーザ光の軌跡の位置に基づいて、第１カメラ１から取得した画像と第２カメラ２から取得した画像とを合成して合成画像を生成することになる。つまり、コンピュータ３は、第１カメラ１から取得した画像１Ｂ内に含まれるレーザ光の軌跡の位置及び第２カメラ２から取得した画像２Ｂ内に含まれるレーザ光の軌跡の位置の少なくとも一方に基づいて、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成することになる。ここでは、レーザ光源４によるレーザ光の照射位置と第１カメラ１及び第２カメラ２の一方（ここでは第２カメラ２）が撮像する領域の位置との位置関係が固定されており、コンピュータ３は、第１カメラ１及び第２カメラ２の他方（ここでは第１カメラ１）から取得した画像１Ｂ内に含まれるレーザ光の軌跡の位置に基づいて、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成することになる。   In this case, two images 1B and 2B including the locus of the laser beam are acquired, and based on the positional relationship of the locus of the laser beam included in these two images 1B and 2B, as shown in FIG. In addition, the synthesized image 20 is generated by synthesizing the image 1A acquired from the first camera 1 and the image 2A acquired from the second camera 2. Here, the first camera 1 is based on the positional relationship between the locus of the laser light included in the image 1B acquired from the first camera 1 and the locus of the laser light included in the image 2B acquired from the second camera 2. The image 1A acquired from the above and the image 2A acquired from the second camera 2 are combined to generate a combined image 20. In this way, an image including a laser beam trajectory is acquired, and an image acquired from the first camera 1 and an image acquired from the second camera 2 are obtained based on the position of the laser beam trajectory included in the image. A composite image is generated by combining the images. That is, the computer 3 is based on at least one of the position of the locus of the laser beam included in the image 1B acquired from the first camera 1 and the position of the locus of the laser beam included in the image 2B acquired from the second camera 2. Thus, the composite image 20 is generated by combining the image 1A acquired from the first camera 1 and the image 2A acquired from the second camera 2. Here, the positional relationship between the irradiation position of the laser light from the laser light source 4 and the position of the area imaged by one of the first camera 1 and the second camera 2 (here, the second camera 2) is fixed, and the computer 3 Is the image 1A acquired from the first camera 1 based on the position of the locus of the laser beam included in the image 1B acquired from the other of the first camera 1 and the second camera 2 (here, the first camera 1). The composite image 20 is generated by combining the image 2A acquired from the second camera 2.

なお、このほか、例えば、次のようにすることもできる。つまり、運用前に、第１カメラ１と第２カメラ２の共通視野領域に特徴的被写体がある状態とする。例えば、第１カメラ１と第２カメラ２の共通視野領域に特徴的被写体として光源（赤外線光源）を置く。次に、第２カメラ２に固定されているレーザ光源４からレーザ光を照射し、第２カメラ２の位置（向きを含む）に対して第１カメラ１の位置（向きを含む）を変化させながら、第１カメラ１及び第２カメラ２による撮像を行なう。そして、位置を変化させた第１カメラ１の各位置における画像１Ｂを取得し、特徴的被写体としての光源の位置及びレーザ光の軌跡の位置を求め、第１カメラ１の位置、特徴的被写体としての光源の位置及びレーザ光の軌跡の位置を対応づけて表を作成して記憶する。また、第２カメラ２から画像を取得し、特徴的被写体としての光源の位置を求める。そして、位置を変化させた第１カメラ１の各位置における画像１Ｂ内の特徴的被写体としての光源の位置と、第２カメラ２から取得した画像２Ｂ内の特徴的被写体としての光源の位置とが一致するように、第１カメラ１の各位置における画像１Ｂと第２カメラ２から取得した画像２Ｂとを重ね合わせたときの位置ずれ情報（例えば重ね合わせるために位置をずらした量）を求め、これも上記表に記憶する。この場合、第１カメラ１の各位置における画像１Ｂと第２カメラ２から取得した画像２Ｂとを重ね合わせたときの位置ずれ情報と第１カメラ１の各位置における画像２Ｂ内のレーザ光の軌跡の位置とは一対一に対応づけられる。なお、ここでは、レーザ光源４は第２カメラ２に固定されており、第２カメラ２から取得した画像２Ｂ内のレーザ光の軌跡の位置は常に同じ位置となり、この位置を基準として、第１カメラ１の各位置における画像１Ｂ内のレーザ光の軌跡の位置がどの程度ずれているかが位置ずれ情報として求められる。このため、少なくとも、第１カメラ１の各位置における画像１Ｂ内のレーザ光の軌跡の位置、及び、位置ずれ情報を対応づけて記憶しておけば良い。また、この位置ずれ情報は、第１カメラ１の各位置における画像１Ｂ内のレーザ光の軌跡の位置と第２カメラ２から取得した画像２Ｂ内のレーザ光の軌跡の位置との位置ずれ情報（位置関係情報）でもあり、また、第１カメラ１と第２カメラ２との位置ずれ情報（位置関係情報）でもある。   In addition, for example, the following can also be performed. That is, it is assumed that a characteristic subject exists in the common visual field region of the first camera 1 and the second camera 2 before operation. For example, a light source (infrared light source) is placed as a characteristic subject in a common visual field region of the first camera 1 and the second camera 2. Next, laser light is emitted from the laser light source 4 fixed to the second camera 2 to change the position (including orientation) of the first camera 1 relative to the position (including orientation) of the second camera 2. However, imaging is performed by the first camera 1 and the second camera 2. Then, the image 1B at each position of the first camera 1 with the position changed is acquired, the position of the light source as the characteristic subject and the position of the locus of the laser light are obtained, and the position of the first camera 1 and the characteristic subject are obtained. A table is created and stored in association with the position of the light source and the position of the locus of the laser beam. In addition, an image is acquired from the second camera 2, and the position of the light source as a characteristic subject is obtained. The position of the light source as a characteristic subject in the image 1B at each position of the first camera 1 whose position has been changed and the position of the light source as a characteristic subject in the image 2B acquired from the second camera 2 are as follows. Find the position shift information (for example, the amount of position shift to overlap) when the image 1B at each position of the first camera 1 and the image 2B acquired from the second camera 2 are overlapped so as to match, This is also stored in the above table. In this case, the positional deviation information when the image 1B at each position of the first camera 1 and the image 2B acquired from the second camera 2 are superimposed and the locus of the laser light in the image 2B at each position of the first camera 1. Are associated one-on-one. Here, the laser light source 4 is fixed to the second camera 2, and the position of the locus of the laser light in the image 2 </ b> B acquired from the second camera 2 is always the same position, and the first position is based on this position. How much the position of the locus of the laser beam in the image 1B at each position of the camera 1 is deviated is obtained as position deviation information. For this reason, at least the position of the locus of the laser beam in the image 1B at each position of the first camera 1 and the positional deviation information may be stored in association with each other. Further, this positional deviation information is positional deviation information between the position of the locus of the laser beam in the image 1B at each position of the first camera 1 and the position of the locus of the laser beam in the image 2B acquired from the second camera 2 ( (Positional relationship information) and positional deviation information (positional relationship information) between the first camera 1 and the second camera 2.

この場合、レーザ光の軌跡を含む画像１Ｂ、２Ｂを取得し、その画像１Ｂ、２Ｂ内に含まれるレーザ光の軌跡の位置に基づいて、図１（Ｃ）に示すように、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成することになる。つまり、コンピュータ３は、第１カメラ１から取得した画像１Ｂ内に含まれるレーザ光の軌跡の位置及び第２カメラ２から取得した画像２Ｂ内に含まれるレーザ光の軌跡の位置の少なくとも一方に基づいて、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成することになる。ここでは、レーザ光源４によるレーザ光の照射位置と第１カメラ１及び第２カメラ２の一方（ここでは第２カメラ２）が撮像する領域の位置との位置関係が固定されており、コンピュータ３は、第１カメラ１及び第２カメラ２の他方（ここでは第１カメラ１）から取得した画像１Ｂ内に含まれるレーザ光の軌跡の位置に基づいて、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成することになる。   In this case, the images 1B and 2B including the locus of the laser beam are acquired, and the first camera 1 is obtained based on the position of the locus of the laser beam included in the images 1B and 2B as shown in FIG. The image 1A acquired from the above and the image 2A acquired from the second camera 2 are combined to generate a combined image 20. That is, the computer 3 is based on at least one of the position of the locus of the laser beam included in the image 1B acquired from the first camera 1 and the position of the locus of the laser beam included in the image 2B acquired from the second camera 2. Thus, the composite image 20 is generated by combining the image 1A acquired from the first camera 1 and the image 2A acquired from the second camera 2. Here, the positional relationship between the irradiation position of the laser light from the laser light source 4 and the position of the area imaged by one of the first camera 1 and the second camera 2 (here, the second camera 2) is fixed, and the computer 3 Is the image 1A acquired from the first camera 1 based on the position of the locus of the laser beam included in the image 1B acquired from the other of the first camera 1 and the second camera 2 (here, the first camera 1). The composite image 20 is generated by combining the image 2A acquired from the second camera 2.

そして、運用時には、第１カメラ１から取得した画像１Ｂ内のレーザ光の軌跡の位置から、上記表［図６（Ａ）参照］を用いて、位置ずれ情報を取得するようにすれば良い。つまり、画像位置関係計算部１６は、第１レーザ軌跡抽出部１４で抽出したレーザ光の軌跡のみの画像におけるレーザ光の軌跡の位置を求め、この位置から、上記表を用いて、位置ずれ情報を取得するようにすれば良い。   At the time of operation, the positional deviation information may be acquired from the position of the locus of the laser light in the image 1B acquired from the first camera 1 using the above table [see FIG. 6A]. That is, the image positional relationship calculation unit 16 obtains the position of the laser beam trajectory in the image of only the laser beam trajectory extracted by the first laser trajectory extraction unit 14, and uses this table to calculate the positional deviation information. You should get it.

合成画像生成部１７は、画像位置関係計算部１６からの位置関係情報、第１カメラ１からの画像情報、第２カメラ２からの画像情報、及び、フレームタイミング発生部１３からのフレームタイミング信号に基づいて、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成する［図１（Ｃ）参照］。そして、合成画像生成部１７は、生成した合成画像２０を、表示装置９（図３参照）へ出力するようになっている。これにより、合成画像２０が表示装置９の表示画面上に表示されることになる。   The composite image generation unit 17 receives the positional relationship information from the image positional relationship calculation unit 16, the image information from the first camera 1, the image information from the second camera 2, and the frame timing signal from the frame timing generation unit 13. Based on this, the image 1A acquired from the first camera 1 and the image 2A acquired from the second camera 2 are combined to generate a combined image 20 [see FIG. 1C]. The composite image generating unit 17 outputs the generated composite image 20 to the display device 9 (see FIG. 3). As a result, the composite image 20 is displayed on the display screen of the display device 9.

ここでは、合成画像生成部１７は、フレームタイミング発生部１３からのフレームタイミング信号に基づいて第１カメラ１から取得した第１レーザ光非照射時画像１Ａ（レーザ光の軌跡が含まれていない第１画像）と第２カメラ２から取得した第２レーザ光非照射時画像２Ａ（レーザ光の軌跡が含まれていない第２画像）とを、画像位置関係計算部１６からの位置関係情報に基づいて合成して合成画像２０を生成する。   Here, the composite image generation unit 17 receives the first laser light non-irradiation image 1A acquired from the first camera 1 based on the frame timing signal from the frame timing generation unit 13 (the laser beam locus is not included). 1 image) and the second laser light non-irradiation image 2A acquired from the second camera 2 (second image not including the locus of the laser light) based on the positional relationship information from the image positional relationship calculation unit 16. Are combined to generate a composite image 20.

具体的には、合成画像生成部１７は、画像位置関係計算部１６で取得した位置ずれ情報を用いて、第１カメラ１から取得した第１レーザ光非照射時画像１Ａ（レーザ光の軌跡が含まれていない第１画像）と第２カメラ２から取得した第２レーザ光非照射時画像２Ａ（レーザ光の軌跡が含まれていない第２画像）とを合成して合成画像２０を生成する［図１（Ｃ）参照］。   Specifically, the composite image generation unit 17 uses the positional deviation information acquired by the image positional relationship calculation unit 16 to acquire the first laser light non-irradiation image 1A (the laser beam trajectory is acquired from the first camera 1). The synthesized image 20 is generated by synthesizing the first image not included) and the second non-irradiated image 2A acquired from the second camera 2 (second image not including the laser beam trajectory). [See FIG. 1C].

このように、レーザ光の軌跡が含まれていない第１画像１Ａとレーザ光の軌跡が含まれていない第２画像２Ａとを合成して合成画像２０を生成することで、位置合わせ用マーカとして用いているレーザ光の軌跡が含まれていない合成画像２０を得ることができる。つまり、上述のように、位置合わせ用マーカとして用いるレーザ光を、第１カメラ１及び第２カメラ２のフレームレートに同期させながら点滅させ、第１カメラ１及び第２カメラ２からレーザ光の消灯時のフレームの画像１Ａ、２Ａを取得し、これらを合成することで、位置合わせ用マーカとして用いているレーザ光の軌跡が含まれていない合成画像２０を得ることができる。   As described above, the first image 1A that does not include the laser beam trajectory and the second image 2A that does not include the laser beam trajectory are combined to generate the composite image 20, thereby providing an alignment marker. It is possible to obtain a composite image 20 that does not include the locus of the laser light being used. That is, as described above, the laser light used as the alignment marker is blinked in synchronization with the frame rates of the first camera 1 and the second camera 2, and the laser light is turned off from the first camera 1 and the second camera 2. By obtaining the images 1A and 2A of the time frame and synthesizing them, the synthesized image 20 that does not include the locus of the laser beam used as the alignment marker can be obtained.

また、図１（Ｃ）に示すように、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを正確に合成して合成画像２０を生成できるため、第１カメラ１で撮像した遠方の被写体Ｔ１と第２カメラ２で撮像した遠方の被写体Ｔ２の正確な位置関係を把握することが可能となる。
なお、ここでは、１フレームをレーザ光の照射期間と非照射期間とに分けて、これらを繰り返すようにしているが、これに限られるものではない。例えば、フレーム毎にレーザ光の照射／非照射としても良い。つまり、レーザ光を照射するフレームとレーザ光を照射しないフレームとを繰り返すようにしても良い。また、例えば、ある数のフレーム毎にレーザ光の照射／非照射としても良い。つまり、ある数のフレームでレーザ光を照射し、ある数のフレームでレーザ光を照射しないようにして、これを繰り返すようにしても良い。 Further, as shown in FIG. 1C, the composite image 20 can be generated by accurately synthesizing the image 1A acquired from the first camera 1 and the image 2A acquired from the second camera 2, so that the first camera 1 Thus, it is possible to grasp the exact positional relationship between the distant subject T1 imaged in step 1 and the distant subject T2 imaged by the second camera 2.
Here, one frame is divided into a laser light irradiation period and a non-irradiation period, and these are repeated. However, the present invention is not limited to this. For example, laser light irradiation / non-irradiation may be performed for each frame. That is, you may make it repeat the flame | frame which irradiates a laser beam, and the flame | frame which does not irradiate a laser beam. Further, for example, laser light irradiation / non-irradiation may be performed every certain number of frames. That is, the laser beam may be irradiated with a certain number of frames and the laser beam may not be irradiated with a certain number of frames, and this may be repeated.

したがって、本実施形態にかかる撮像システムによれば、各画像に共通に含まれる特徴部分がない場合であっても、複数の画像を互いに位置合わせして合成できるという利点がある。
なお、本発明は、上述した実施形態に記載した構成に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形することが可能である。 Therefore, according to the imaging system according to the present embodiment, there is an advantage that a plurality of images can be aligned with each other and combined even when there is no feature part commonly included in each image.
In addition, this invention is not limited to the structure described in embodiment mentioned above, A various deformation | transformation is possible in the range which does not deviate from the meaning of this invention.

例えば、上述の実施形態では、電磁波源４を備えるものとし、コンピュータ３が、電磁波源４による電磁波の照射／非照射を制御するとともに、第１カメラ１から取得した第１電磁波照射時画像１Ｂ内に含まれる電磁波の軌跡の位置及び第２カメラ２から取得した第２電磁波照射時画像２Ｂ内に含まれる電磁波の軌跡の位置の少なくとも一方に基づいて、第１カメラ１から取得した第１電磁波非照射時画像１Ａと第２カメラ２から取得した第２電磁波非照射時画像２Ａとを合成して合成画像２０を生成するようにしているが、これに限られるものではない。   For example, in the above-described embodiment, the electromagnetic wave source 4 is provided, and the computer 3 controls the irradiation / non-irradiation of the electromagnetic wave by the electromagnetic wave source 4 and is in the first electromagnetic wave irradiation image 1B acquired from the first camera 1. The first electromagnetic wave non-obtained from the first camera 1 is based on at least one of the position of the electromagnetic wave locus included in the image and the position of the electromagnetic wave locus included in the second electromagnetic wave irradiation image 2B acquired from the second camera 2. The synthesized image 20 is generated by synthesizing the irradiation image 1A and the second electromagnetic wave non-irradiation image 2A acquired from the second camera 2, but the invention is not limited to this.

例えば、図７（Ａ）〜図７（Ｃ）に示すように、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに照射された電磁波の軌跡を含む第１レーダ画像３１Ａを取得する第１レーダ３１と、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに照射された電磁波の軌跡を含む第２レーダ画像３２Ａを取得する第２レーダ３２とを備えるものとする。また、第１レーダ３１による電磁波の照射位置と第１カメラ１が撮像する第１領域Ｘの位置との位置関係を固定し、第２レーダ３２による電磁波の照射位置と第２カメラ２が撮像する第２領域Ｙの位置との位置関係を固定する。つまり、第１カメラ１と第１レーダ３１のお互いの位置がずれないように、第１カメラ１と第１レーダ３１を固定しており、また、第２カメラ２と第２レーダ３２のお互いの位置がずれないように、第２カメラ２と第２レーダ３２を固定している。そして、コンピュータ３が、第１レーダ３１及び第２レーダ３２を制御するとともに、第１レーダ３１から取得した第１レーダ画像３１Ａ内に含まれる電磁波の軌跡の位置及び第２レーダ３２から取得した第２レーダ画像３２Ａ内に含まれる電磁波の軌跡の位置の少なくとも一方に基づいて、第１カメラ１から取得した第１画像１Ａと第２カメラ２から取得した第２画像２Ａとを合成して合成画像２０を生成するようにしても良い。例えば、第１レーダ３１から取得した第１レーダ画像３１Ａ内に含まれる電磁波の軌跡と第２レーダ３２から取得した第２レーダ画像３２Ａ内に含まれる電磁波の軌跡との位置関係に基づいて、第１カメラ１から取得した第１画像１Ａと第２カメラ２から取得した第２画像２Ａとを合成して合成画像２０を生成するようにすれば良い。また、例えば、第１レーダ３１が、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに電磁波を照射し、電磁波の軌跡を含む第１レーダ画像３１Ａを取得するようにし、第２レーダ３２が、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに第１レーダ３１によって照射された電磁波の軌跡を含む第２レーダ画像３２Ａを取得するようにする。そして、コンピュータ３が、第２レーダ３２から取得した第２レーダ画像３２Ａ内に含まれる電磁波の軌跡の位置に基づいて、第１カメラ１から取得した第１画像１Ａと第２カメラ２から取得した第２画像２Ａとを合成して合成画像２０を生成するようにすれば良い。なお、レーダをレーダ素子ともいう。   For example, as shown in FIGS. 7A to 7C, the first radar image 31A including the locus of the electromagnetic wave irradiated to the region Z where the first region X and the second region Y overlap is acquired. And a second radar 32 that obtains a second radar image 32A including a trajectory of an electromagnetic wave applied to a region Z in which the first region X and the second region Y overlap each other. . In addition, the positional relationship between the irradiation position of the electromagnetic wave by the first radar 31 and the position of the first region X captured by the first camera 1 is fixed, and the irradiation position of the electromagnetic wave by the second radar 32 and the second camera 2 capture the image. The positional relationship with the position of the second region Y is fixed. In other words, the first camera 1 and the first radar 31 are fixed so that the positions of the first camera 1 and the first radar 31 are not shifted from each other, and the second camera 2 and the second radar 32 are mutually connected. The second camera 2 and the second radar 32 are fixed so that the positions do not shift. The computer 3 controls the first radar 31 and the second radar 32, and the position of the locus of electromagnetic waves included in the first radar image 31 A acquired from the first radar 31 and the second radar 32 acquired from the second radar 32. The first image 1A acquired from the first camera 1 and the second image 2A acquired from the second camera 2 are synthesized based on at least one of the positions of the locus of electromagnetic waves included in the two radar images 32A. 20 may be generated. For example, based on the positional relationship between the locus of electromagnetic waves included in the first radar image 31A acquired from the first radar 31 and the locus of electromagnetic waves included in the second radar image 32A acquired from the second radar 32, the first The synthesized image 20 may be generated by synthesizing the first image 1A acquired from one camera 1 and the second image 2A acquired from the second camera 2. Further, for example, the first radar 31 irradiates a region Z where the first region X and the second region Y overlap, and acquires the first radar image 31A including the locus of the electromagnetic wave. The radar 32 acquires the second radar image 32A including the locus of the electromagnetic wave irradiated by the first radar 31 in the region Z where the first region X and the second region Y overlap. The computer 3 acquires the first image 1A acquired from the first camera 1 and the second camera 2 based on the position of the locus of the electromagnetic wave included in the second radar image 32A acquired from the second radar 32. The synthesized image 20 may be generated by synthesizing the second image 2A. The radar is also referred to as a radar element.

この場合、電磁波は、大気中で吸収される波長の電磁波であることが好ましい。つまり、第１レーダ３１及び第２レーダ３２は、大気中で吸収される波長の電磁波を照射し、この電磁波の軌跡を含むレーダ画像３１Ａ、３２Ａを取得するものであることが好ましい。例えば、電磁波は、１９０〜２００ＧＨｚ、１２０〜１３０ＧＨｚ又は６０ＧＨｚの電磁波（ミリ波の電磁波）であることが好ましい。つまり、第１レーダ３１及び第２レーダ３２は、１９０〜２００ＧＨｚ、１２０〜１３０ＧＨｚ又は６０ＧＨｚの電磁波を照射し、この電磁波の軌跡を含むレーダ画像３１Ａ、３２Ａを取得するものであることが好ましい。このような電磁波は、大気中での減衰が激しく、例えば数百ｍ以上は伝搬しないため、これを位置合わせ用マーカとして用いることで、遠方から探知不能となり、例えば監視の秘匿性を確保することが可能となる。   In this case, the electromagnetic wave is preferably an electromagnetic wave having a wavelength that is absorbed in the atmosphere. That is, it is preferable that the first radar 31 and the second radar 32 emit an electromagnetic wave having a wavelength that is absorbed in the atmosphere, and acquire the radar images 31A and 32A including the locus of the electromagnetic wave. For example, the electromagnetic wave is preferably an electromagnetic wave (millimeter wave electromagnetic wave) of 190 to 200 GHz, 120 to 130 GHz, or 60 GHz. That is, it is preferable that the first radar 31 and the second radar 32 radiate electromagnetic waves of 190 to 200 GHz, 120 to 130 GHz, or 60 GHz and acquire radar images 31A and 32A including the locus of the electromagnetic waves. Since such electromagnetic waves are strongly attenuated in the atmosphere and do not propagate, for example, several hundred meters or more, using this as a positioning marker makes detection impossible from a distance, for example, ensuring the confidentiality of monitoring. Is possible.

また、第１カメラ１及び第２カメラ２は、物体が放射する赤外線の波長に感度を持つ赤外線イメージセンサを備えるものであれば良い。例えば、室温付近の物体が放射する赤外線のうち、大気を透過しやすい約３〜約５μｍ付近（約４．５μｍ付近を除く）又は約８〜約１２μｍ付近の波長に感度を持つ赤外線カメラを用いれば良い。
そして、第１カメラ１と第２カメラ２とは、それぞれの視野Ｘ、Ｙが一部重なるように配置している。つまり、第１カメラ１によって撮像される第１領域Ｘと第２カメラ２によって撮像される第２領域Ｙとが一部重なるように、第１カメラ１と第２カメラ２とを配置している。 Moreover, the 1st camera 1 and the 2nd camera 2 should just be provided with the infrared image sensor which has sensitivity to the wavelength of the infrared rays which an object radiates | emits. For example, among infrared rays radiated from objects near room temperature, an infrared camera having sensitivity at a wavelength of about 3 to about 5 μm (excluding about 4.5 μm) or about 8 to about 12 μm, which is easily transmitted through the atmosphere, is used. It ’s fine.
And the 1st camera 1 and the 2nd camera 2 are arrange | positioned so that each visual field X and Y may overlap. That is, the first camera 1 and the second camera 2 are arranged so that the first area X imaged by the first camera 1 and the second area Y imaged by the second camera 2 partially overlap. .

具体的には、図８に示すように、コンピュータ３をその機能として画像位置関係計算部１６Ｘ及び合成画像生成部１７を備えるものとし、画像位置関係計算部１６Ｘが、第１レーダ３１から取得した第１レーダ画像３１Ａと第２レーダ３２から取得した第２レーダ画像３２Ａとに基づいて、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成するための位置関係情報を計算するようにすれば良い［図７（Ｂ）、図７（Ｃ）参照］。つまり、画像位置関係計算部１６Ｘが、第１レーダ３１から取得した第１レーダ画像３１Ａ内に含まれる電磁波の軌跡の位置と第２レーダ３２から取得した第２レーダ画像３２Ａ内に含まれる電磁波の軌跡の位置とを求め、これらの位置関係に基づいて、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成するための位置ずれ情報を生成するようにすれば良い。   Specifically, as shown in FIG. 8, the computer 3 is provided with an image positional relationship calculation unit 16 </ b> X and a composite image generation unit 17 as functions thereof, and the image positional relationship calculation unit 16 </ b> X acquired from the first radar 31. Based on the first radar image 31A and the second radar image 32A acquired from the second radar 32, the image 1A acquired from the first camera 1 and the image 2A acquired from the second camera 2 are combined to form a combined image 20. It is only necessary to calculate positional relationship information for generating [see FIGS. 7B and 7C]. That is, the image positional relationship calculation unit 16X detects the position of the locus of the electromagnetic wave included in the first radar image 31A acquired from the first radar 31 and the electromagnetic wave included in the second radar image 32A acquired from the second radar 32. The position shift information for obtaining the position of the trajectory and combining the image 1A acquired from the first camera 1 and the image 2A acquired from the second camera 2 based on these positional relationships to generate the composite image 20 Should be generated.

例えば、運用前に、第１レーダ３１から電磁波を照射し、第１レーダ３１の位置（向きを含む）に対して第２レーダ３２の位置（向きを含む）を変化させながら、第１レーダ３１及び第２レーダ３２でレーダ画像３１Ａ、３２Ａを得る。そして、位置を変化させた第２レーダ３２の各位置におけるレーダ画像３２Ａを取得し、電磁波の軌跡の位置を求め、第２レーダ３２の位置及び電磁波の軌跡の位置を対応づけて表を作成して記憶する。また、第１レーダ３１からレーダ画像を取得し、電磁波の軌跡の位置を求める。そして、位置を変化させた第２レーダ３２の各位置におけるレーダ画像３２Ａ内の電磁波の軌跡の位置と、第１レーダ３１から取得したレーダ画像３１Ａ内の電磁波の軌跡の位置とが一致するように、第２レーダ３２の各位置におけるレーダ画像３２Ａと第１レーダ３１から取得したレーダ画像３１Ａとを重ね合わせたときの位置ずれ情報（例えば重ね合わせるために位置をずらした量）を求め、これも上記表に記憶する。この場合、第２レーダ３２の各位置におけるレーダ画像３２Ａと第１レーダ３１から取得したレーダ画像３１Ａとを重ね合わせたときの位置ずれ情報と第２レーダ３２の各位置におけるレーダ画像３２Ａ内の電磁波の軌跡の位置とは一対一に対応づけられる。なお、位置ずれ情報は、第２レーダ３２の各位置におけるレーダ画像３２Ａ内の電磁波の軌跡の位置と第１レーダ３１から取得したレーダ画像３１Ａ内の電磁波の軌跡の位置との位置ずれ情報（位置関係情報）でもあり、また、第１レーダ３１と第２レーダ３２との位置ずれ情報（位置関係情報）でもあり、また、第１カメラ１と第２カメラ２との位置ずれ情報（位置関係情報）でもある。   For example, before operation, the first radar 31 emits electromagnetic waves from the first radar 31 and changes the position (including orientation) of the second radar 32 with respect to the position (including orientation) of the first radar 31. The second radar 32 obtains radar images 31A and 32A. Then, the radar image 32A at each position of the second radar 32 with the changed position is acquired, the position of the electromagnetic wave locus is obtained, and a table is created by associating the position of the second radar 32 and the position of the electromagnetic wave locus. And remember. Further, a radar image is acquired from the first radar 31 to obtain the position of the electromagnetic wave locus. Then, the position of the locus of the electromagnetic wave in the radar image 32 </ b> A at each position of the second radar 32 whose position has been changed matches the position of the locus of the electromagnetic wave in the radar image 31 </ b> A acquired from the first radar 31. Then, position shift information (for example, an amount of shift in position for overlapping) obtained when the radar image 32A at each position of the second radar 32 and the radar image 31A acquired from the first radar 31 are overlapped is obtained. Store in the table above. In this case, the positional deviation information when the radar image 32A at each position of the second radar 32 and the radar image 31A acquired from the first radar 31 are superimposed and the electromagnetic wave in the radar image 32A at each position of the second radar 32. The position of the trajectory is associated one-to-one. The positional deviation information is positional deviation information (position between the position of the electromagnetic wave locus in the radar image 32 </ b> A at each position of the second radar 32 and the position of the electromagnetic wave locus in the radar image 31 </ b> A acquired from the first radar 31. Relation information), and also information on positional deviation between the first radar 31 and the second radar 32 (position relation information), and information on positional deviation between the first camera 1 and the second camera 2 (position relation information). It is also.

この場合、電磁波の軌跡を含む２つの画像３１Ａ、３２Ａを取得し、これらの２つの画像３１Ａ、３２Ａ内に含まれる電磁波の軌跡の位置関係に基づいて、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成することになる［図７（Ｂ）、図７（Ｃ）参照］。ここでは、第１レーダ３１から取得した画像３１Ａ内に含まれる電磁波の軌跡と第２レーダ３２から取得した画像３２Ａ内に含まれる電磁波の軌跡との位置関係に基づいて、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成することになる。このように、電磁波の軌跡を含む画像を取得し、その画像内に含まれる電磁波の軌跡の位置に基づいて、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成することになる。つまり、コンピュータ３は、第１レーダ３１から取得した第１レーダ画像３１Ａ内に含まれる電磁波の軌跡の位置及び第２レーダ３２から取得した第２レーダ画像３２内に含まれる電磁波の軌跡の位置の少なくとも一方に基づいて、第１カメラ１から取得した第１画像１Ａと第２カメラ２から取得した第２画像２Ａとを合成して合成画像２０を生成することになる。ここでは、第１レーダ３１が、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに電磁波を照射し、この電磁波の軌跡を含む第１レーダ画像３１Ａを取得し、第２レーダ３２が、第１レーダ３１によって照射された電磁波の軌跡を含む第２レーダ画像３２Ａを取得し、コンピュータ３が、第２レーダ３２から取得した第２レーダ画像３２Ａ内に含まれる電磁波の軌跡の位置に基づいて、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成することになる。   In this case, two images 31A and 32A including an electromagnetic wave trajectory are acquired, and an image 1A acquired from the first camera 1 based on the positional relationship of the electromagnetic wave trajectories included in the two images 31A and 32A The composite image 20 is generated by combining the image 2A acquired from the second camera 2 [see FIGS. 7B and 7C]. Here, it is acquired from the first camera 1 based on the positional relationship between the locus of electromagnetic waves included in the image 31A acquired from the first radar 31 and the locus of electromagnetic waves included in the image 32A acquired from the second radar 32. The synthesized image 20 is generated by synthesizing the image 1 </ b> A and the image 2 </ b> A acquired from the second camera 2. In this way, an image including an electromagnetic wave trajectory is acquired, and an image 1A acquired from the first camera 1 and an image 2A acquired from the second camera 2 are obtained based on the position of the electromagnetic wave trajectory included in the image. The combined image 20 is generated by combining. That is, the computer 3 determines the position of the locus of the electromagnetic wave included in the first radar image 31 </ b> A acquired from the first radar 31 and the position of the locus of the electromagnetic wave included in the second radar image 32 acquired from the second radar 32. Based on at least one, the first image 1A acquired from the first camera 1 and the second image 2A acquired from the second camera 2 are combined to generate the combined image 20. Here, the first radar 31 irradiates a region Z where the first region X and the second region Y overlap, acquires a first radar image 31A including the locus of the electromagnetic wave, and the second radar 32. Acquires the second radar image 32A including the trajectory of the electromagnetic wave emitted by the first radar 31, and the computer 3 takes the position of the trajectory of the electromagnetic wave included in the second radar image 32A acquired from the second radar 32. Based on this, the synthesized image 20 is generated by synthesizing the image 1A acquired from the first camera 1 and the image 2A acquired from the second camera 2.

なお、これに限られるものではなく、電磁波を照射するレーダと、位置を変化させるレーダとは反対にしても良い。つまり、運用前に、第２レーダ３２から電磁波を照射し、第２レーダ３２の位置（向きを含む）に対して第１レーダ３１の位置（向きを含む）を変化させながら、第１レーダ３１及び第２レーダ３２でレーダ画像３１Ａ、３２Ａを得る。そして、位置を変化させた第１レーダ３１の各位置におけるレーダ画像３１Ａを取得し、電磁波の軌跡の位置を求め、第１レーダ３１の位置及び電磁波の軌跡の位置を対応づけて表を作成して記憶する。また、第２レーダ３２からレーダ画像３２Ａを取得し、電磁波の軌跡の位置を求める。そして、位置を変化させた第１レーダ３１の各位置におけるレーダ画像３１Ａ内の電磁波の軌跡の位置と、第２レーダ３２から取得したレーダ画像３２Ａ内の電磁波の軌跡の位置とが一致するように、第１レーダ３１の各位置におけるレーダ画像３１Ａと第２レーダ３２から取得したレーダ画像３２Ａとを重ね合わせたときの位置ずれ情報（例えば重ね合わせるために位置をずらした量）を求め、これも上記表に記憶する。要するに、第１レーダ３１は、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに照射された電磁波の軌跡を含む第１レーダ画像３１Ａを取得するものであり、第２レーダ３２は、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに照射された電磁波の軌跡を含む第２レーダ画像３２Ａを取得するものであれば良い。   However, the present invention is not limited to this, and the radar that radiates electromagnetic waves and the radar that changes the position may be reversed. That is, before operation, the first radar 31 is irradiated with electromagnetic waves from the second radar 32 and the position (including orientation) of the first radar 31 is changed with respect to the position (including orientation) of the second radar 32. The second radar 32 obtains radar images 31A and 32A. Then, the radar image 31A at each position of the first radar 31 with the position changed is acquired, the position of the electromagnetic wave trajectory is obtained, and a table is created by associating the position of the first radar 31 and the position of the electromagnetic wave trajectory. And remember. Further, a radar image 32A is acquired from the second radar 32, and the position of the electromagnetic wave locus is obtained. Then, the position of the locus of the electromagnetic wave in the radar image 31A at each position of the first radar 31 whose position has been changed matches the position of the locus of the electromagnetic wave in the radar image 32A acquired from the second radar 32. Then, position shift information (for example, the amount of shift of the position for overlapping) obtained when the radar image 31A at each position of the first radar 31 and the radar image 32A acquired from the second radar 32 are overlapped is obtained. Store in the table above. In short, the first radar 31 acquires the first radar image 31A including the trajectory of the electromagnetic wave irradiated on the region Z where the first region X and the second region Y overlap, and the second radar 32 As long as the second radar image 32A including the locus of the electromagnetic wave applied to the region Z where the first region X and the second region Y overlap is acquired.

なお、このほか、例えば、次のようにすることもできる。つまり、運用前に、第１カメラ１と第２カメラ２の共通視野領域に特徴的被写体（例えば近距離の地形、地面や界面の凹凸など）がある状態とする。次に、第１レーダ３１から電磁波を照射し、第１レーダ３１の位置（向きを含む）に対して第２レーダ３２の位置（向きを含む）を変化させながら、第１レーダ３１及び第２レーダ３２でレーダ画像３１Ａ、３２Ａを得る。そして、位置を変化させた第２レーダ３２の各位置におけるレーダ画像３２Ａを取得し、特徴的被写体の位置及び電磁波の軌跡の位置を求め、第２レーダ３２の位置、特徴的被写体の位置及び電磁波の軌跡の位置を対応づけて表を作成して記憶する。また、第１レーダ３１からレーダ画像３１Ａを取得し、特徴的被写体の位置を求める。そして、位置を変化させた第２レーダ３２の各位置におけるレーダ画像３２Ａ内の特徴的被写体の位置と、第１レーダ３１から取得したレーダ画像３１Ａ内の特徴的被写体の位置とが一致するように、第２レーダ３２の各位置におけるレーダ画像３２Ａと第１レーダ３１から取得したレーダ画像３１Ａとを重ね合わせたときの位置ずれ情報（例えば重ね合わせるために位置をずらした量）を求め、これも上記表に記憶する。この場合、第２レーダ３２の各位置におけるレーダ画像３２Ａと第１レーダ３１から取得したレーダ画像３１Ａとを重ね合わせたときの位置ずれ情報と第２レーダ３２の各位置におけるレーダ画像３２Ａ内の電磁波の軌跡の位置とは一対一に対応づけられる。なお、位置ずれ情報は、第２レーダ３２の各位置におけるレーダ画像３２Ａ内の電磁波の軌跡の位置と第１レーダ３１から取得したレーダ画像３１Ａ内の電磁波の軌跡の位置との位置ずれ情報（位置関係情報）でもあり、また、第１レーダ３１と第２レーダ３２との位置ずれ情報（位置関係情報）でもあり、また、第１カメラ１と第２カメラ２との位置ずれ情報（位置関係情報）でもある。   In addition, for example, the following can also be performed. That is, before the operation, a characteristic subject (for example, a short-distance terrain, unevenness of the ground or an interface, etc.) exists in the common visual field region of the first camera 1 and the second camera 2. Next, the first radar 31 and the second radar 31 are irradiated with electromagnetic waves from the first radar 31 and the position (including the direction) of the second radar 32 is changed with respect to the position (including the direction) of the first radar 31. Radar images 31A and 32A are obtained by the radar 32. Then, the radar image 32A at each position of the second radar 32 with the position changed is acquired, the position of the characteristic subject and the position of the locus of the electromagnetic wave are obtained, and the position of the second radar 32, the position of the characteristic object and the electromagnetic wave. A table is created by associating the positions of the trajectories and stored. Further, a radar image 31A is acquired from the first radar 31 and the position of the characteristic subject is obtained. Then, the position of the characteristic subject in the radar image 32 </ b> A at each position of the second radar 32 whose position has been changed matches the position of the characteristic subject in the radar image 31 </ b> A acquired from the first radar 31. Then, position shift information (for example, an amount of shift in position for overlapping) obtained when the radar image 32A at each position of the second radar 32 and the radar image 31A acquired from the first radar 31 are overlapped is obtained. Store in the table above. In this case, the positional deviation information when the radar image 32A at each position of the second radar 32 and the radar image 31A acquired from the first radar 31 are superimposed and the electromagnetic wave in the radar image 32A at each position of the second radar 32. The position of the trajectory is associated one-to-one. The positional deviation information is positional deviation information (position between the position of the electromagnetic wave locus in the radar image 32 </ b> A at each position of the second radar 32 and the position of the electromagnetic wave locus in the radar image 31 </ b> A acquired from the first radar 31. Relation information), and also information on positional deviation between the first radar 31 and the second radar 32 (position relation information), and information on positional deviation between the first camera 1 and the second camera 2 (position relation information). It is also.

この場合、電磁波の軌跡を含む画像を取得し、その画像内に含まれる電磁波の軌跡の位置に基づいて、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成することになる。つまり、コンピュータ３は、第１レーダ３１から取得した第１レーダ画像３１Ａ内に含まれる電磁波の軌跡の位置及び第２レーダ３２から取得した第２レーダ画像３２Ａ内に含まれる電磁波の軌跡の位置の少なくとも一方に基づいて、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成することになる。ここでは、第１レーダ３１が、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに電磁波を照射し、この電磁波の軌跡を含む第１レーダ画像３１Ａを取得し、第２レーダ３２が、第１レーダ３１によって照射された電磁波の軌跡を含む第２レーダ画像３２Ａを取得し、コンピュータ３が、第２レーダ３２から取得した第２レーダ画像３２Ａ内に含まれる電磁波の軌跡の位置に基づいて、第１カメラ１から取得した画像１Ａと第２カメラ２から取得した画像２Ａとを合成して合成画像２０を生成することになる。   In this case, an image including an electromagnetic wave trajectory is acquired, and the image 1A acquired from the first camera 1 and the image 2A acquired from the second camera 2 are synthesized based on the position of the electromagnetic wave trajectory included in the image. Thus, the composite image 20 is generated. In other words, the computer 3 determines the position of the locus of the electromagnetic wave included in the first radar image 31A acquired from the first radar 31 and the position of the locus of the electromagnetic wave included in the second radar image 32A acquired from the second radar 32. Based on at least one, the image 1A acquired from the first camera 1 and the image 2A acquired from the second camera 2 are combined to generate a combined image 20. Here, the first radar 31 irradiates a region Z where the first region X and the second region Y overlap, acquires a first radar image 31A including the locus of the electromagnetic wave, and the second radar 32. Acquires the second radar image 32A including the trajectory of the electromagnetic wave emitted by the first radar 31, and the computer 3 takes the position of the trajectory of the electromagnetic wave included in the second radar image 32A acquired from the second radar 32. Based on this, the synthesized image 20 is generated by synthesizing the image 1A acquired from the first camera 1 and the image 2A acquired from the second camera 2.

なお、これに限られるものではなく、電磁波を照射するレーダと、位置を変化させるレーダとは反対にしても良い。つまり、第２レーダ３２から電磁波を照射し、第２レーダ３２の位置（向きを含む）に対して第１レーダ３１の位置（向きを含む）を変化させながら、第１レーダ３１及び第２レーダ３２でレーダ画像３１Ａ、３２Ａを得る。そして、位置を変化させた第１レーダ３１の各位置におけるレーダ画像３１Ａを取得し、特徴的被写体の位置及び電磁波の軌跡の位置を求め、第１レーダ３１の位置、特徴的被写体の位置及び電磁波の軌跡の位置を対応づけて表を作成して記憶する。また、第２レーダ３２からレーダ画像３２Ａを取得し、特徴的被写体の位置を求める。そして、位置を変化させた第１レーダ３１の各位置におけるレーダ画像３１Ａ内の特徴的被写体の位置と、第２レーダ３２から取得したレーダ画像３２Ａ内の特徴的被写体の位置とが一致するように、第１レーダ３１の各位置におけるレーダ画像３１Ａと第２レーダ３２から取得したレーダ画像３２Ａとを重ね合わせたときの位置ずれ情報（例えば重ね合わせるために位置をずらした量）を求め、これも上記表に記憶する。要するに、第１レーダ３１は、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに照射された電磁波の軌跡を含む第１レーダ画像３１Ａを取得するものであり、第２レーダ３２は、第１領域Ｘと第２領域Ｙとが重なっている領域Ｚに照射された電磁波の軌跡を含む第２レーダ画像３２Ａを取得するものであれば良い。   However, the present invention is not limited to this, and the radar that radiates electromagnetic waves and the radar that changes the position may be reversed. That is, the first radar 31 and the second radar are irradiated with electromagnetic waves from the second radar 32 and the position (including direction) of the first radar 31 is changed with respect to the position (including direction) of the second radar 32. At 32, radar images 31A and 32A are obtained. Then, the radar image 31A at each position of the first radar 31 with the position changed is acquired, the position of the characteristic object and the position of the locus of the electromagnetic wave are obtained, and the position of the first radar 31, the position of the characteristic object, and the electromagnetic wave A table is created by associating the positions of the trajectories and stored. Further, the radar image 32A is acquired from the second radar 32, and the position of the characteristic subject is obtained. The position of the characteristic subject in the radar image 31A at each position of the first radar 31 whose position has been changed matches the position of the characteristic subject in the radar image 32A acquired from the second radar 32. Then, position shift information (for example, the amount of shift of the position for overlapping) obtained when the radar image 31A at each position of the first radar 31 and the radar image 32A acquired from the second radar 32 are overlapped is obtained. Store in the table above. In short, the first radar 31 acquires the first radar image 31A including the trajectory of the electromagnetic wave irradiated on the region Z where the first region X and the second region Y overlap, and the second radar 32 As long as the second radar image 32A including the locus of the electromagnetic wave applied to the region Z where the first region X and the second region Y overlap is acquired.

そして、運用時には、第２レーダ３２から取得したレーダ画像３２Ａ内の電磁波の軌跡の位置から、上記表を用いて、位置ずれ情報を取得するようにすれば良い。つまり、画像位置関係計算部１６Ｘは、第２レーダ３２から取得したレーダ画像３２Ａにおける電磁波の軌跡の位置を求め、この位置から、上記表を用いて、位置ずれ情報を取得するようにすれば良い。   At the time of operation, the positional deviation information may be acquired from the position of the locus of the electromagnetic wave in the radar image 32A acquired from the second radar 32 using the above table. That is, the image positional relationship calculation unit 16X may obtain the position of the electromagnetic wave trajectory in the radar image 32A acquired from the second radar 32, and acquire positional deviation information from this position using the above table. .

なお、合成画像生成部１７は、上述の実施形態の場合と同様に構成すれば良い。
以下、上述の実施形態及び変形例に関し、更に、付記を開示する。
（付記１）
第１領域を撮像する第１カメラと、
第２領域を撮像する第２カメラと、
前記第１領域と前記第２領域とが重なっている領域に照射された電磁波の軌跡を含む画像を取得し、前記画像内に含まれる前記電磁波の軌跡の位置に基づいて、前記第１カメラから取得した第１画像と前記第２カメラから取得した第２画像とを合成して合成画像を生成するコンピュータとを備えることを特徴とする撮像システム。 The composite image generation unit 17 may be configured in the same manner as in the above embodiment.
Hereinafter, additional notes will be disclosed regarding the above-described embodiment and modifications.
(Appendix 1)
A first camera that images the first region;
A second camera that images the second region;
An image including a trajectory of the electromagnetic wave irradiated to an area where the first region and the second region overlap is acquired, and based on the position of the trajectory of the electromagnetic wave included in the image, from the first camera An imaging system comprising: a computer that generates a composite image by combining the acquired first image and the second image acquired from the second camera.

（付記２）
前記電磁波は、大気中で吸収される波長の電磁波であることを特徴とする、付記１に記載の撮像システム。
（付記３）
前記電磁波は、水又は一酸化炭素の吸収波長に相当する波長の電磁波であることを特徴とする、付記１又は２に記載の撮像システム。 (Appendix 2)
The imaging system according to appendix 1, wherein the electromagnetic wave is an electromagnetic wave having a wavelength that is absorbed in the atmosphere.
(Appendix 3)
The imaging system according to appendix 1 or 2, wherein the electromagnetic wave is an electromagnetic wave having a wavelength corresponding to an absorption wavelength of water or carbon monoxide.

（付記４）
前記電磁波は、１９０〜２００ＧＨｚ、１２０〜１３０ＧＨｚ又は６０ＧＨｚの電磁波であることを特徴とする、付記１又は２に記載の撮像システム。
（付記５）
前記第１領域と前記第２領域とが重なっている領域に前記電磁波を照射する電磁波源を備え、
前記コンピュータは、前記電磁波源による前記電磁波の照射／非照射を制御するとともに、前記第１カメラから取得した第１電磁波照射時画像内に含まれる前記電磁波の軌跡の位置及び前記第２カメラから取得した第２電磁波照射時画像内に含まれる前記電磁波の軌跡の位置の少なくとも一方に基づいて、前記第１カメラから取得した第１電磁波非照射時画像と前記第２カメラから取得した第２電磁波非照射時画像とを合成して合成画像を生成することを特徴とする、付記１〜３のいずれか１項に記載の撮像システム。 (Appendix 4)
The imaging system according to appendix 1 or 2, wherein the electromagnetic wave is an electromagnetic wave of 190 to 200 GHz, 120 to 130 GHz, or 60 GHz.
(Appendix 5)
An electromagnetic wave source for irradiating the electromagnetic wave on a region where the first region and the second region overlap;
The computer controls the irradiation / non-irradiation of the electromagnetic wave by the electromagnetic wave source, and obtains the position of the locus of the electromagnetic wave included in the first electromagnetic wave irradiation image acquired from the first camera and the second camera. Based on at least one of the positions of the locus of the electromagnetic wave included in the second electromagnetic wave irradiation image, the first electromagnetic wave non-irradiation image acquired from the first camera and the second electromagnetic wave non-acquisition acquired from the second camera are obtained. The imaging system according to any one of appendices 1 to 3, wherein a combined image is generated by combining the image during irradiation.

（付記６）
前記コンピュータは、前記第１カメラから取得した第１電磁波照射時画像内に含まれる前記電磁波の軌跡と前記第２カメラから取得した第２電磁波照射時画像内に含まれる前記電磁波の軌跡との位置関係に基づいて、前記第１カメラから取得した第１電磁波非照射時画像と前記第２カメラから取得した第２電磁波非照射時画像とを合成して合成画像を生成することを特徴とする、付記５に記載の撮像システム。 (Appendix 6)
The computer is configured to detect a position of the electromagnetic wave trajectory included in the first electromagnetic wave irradiation image acquired from the first camera and the electromagnetic wave trajectory included in the second electromagnetic wave irradiation image acquired from the second camera. Based on the relationship, the first electromagnetic wave non-irradiation image acquired from the first camera and the second electromagnetic wave non-irradiation image acquired from the second camera are combined to generate a composite image, The imaging system according to appendix 5.

（付記７）
前記電磁波源による前記電磁波の照射位置と前記第１カメラ及び前記第２カメラの一方が撮像する領域の位置との位置関係が固定されており、
前記コンピュータは、前記第１カメラ及び前記第２カメラの他方から取得した電磁波照射時画像内に含まれる前記電磁波の軌跡の位置に基づいて、前記第１カメラから取得した第１電磁波非照射時画像と前記第２カメラから取得した第２電磁波非照射時画像とを合成して合成画像を生成することを特徴とする、付記５又は６に記載の撮像システム。 (Appendix 7)
The positional relationship between the irradiation position of the electromagnetic wave by the electromagnetic wave source and the position of the region imaged by one of the first camera and the second camera is fixed,
The computer uses the first electromagnetic wave non-irradiation image acquired from the first camera based on the position of the electromagnetic wave locus included in the electromagnetic wave irradiation image acquired from the other of the first camera and the second camera. The imaging system according to appendix 5 or 6, wherein a synthesized image is generated by synthesizing a second electromagnetic wave non-irradiation image acquired from the second camera.

（付記８）
前記第１カメラ及び前記第２カメラは、物体が放射する赤外線の波長と前記電磁波の波長との両方に感度を持つ赤外線イメージセンサを備えることを特徴とする、付記１〜３、５〜７のいずれか１項に記載の撮像システム。
（付記９）
前記第１領域と前記第２領域とが重なっている領域に照射された前記電磁波の軌跡を含む第１レーダ画像を取得する第１レーダと、
前記第１領域と前記第２領域とが重なっている領域に照射された前記電磁波の軌跡を含む第２レーダ画像を取得する第２レーダとを備え、
前記第１レーダによる前記電磁波の照射位置と前記第１カメラが撮像する第１領域の位置との位置関係が固定されており、
前記第２レーダによる前記電磁波の照射位置と前記第２カメラが撮像する第２領域の位置との位置関係が固定されており、
前記コンピュータは、前記第１レーダ及び前記第２レーダを制御するとともに、前記第１レーダから取得した第１レーダ画像内に含まれる前記電磁波の軌跡の位置及び前記第２レーダから取得した第２レーダ画像内に含まれる前記電磁波の軌跡の位置の少なくとも一方に基づいて、前記第１カメラから取得した第１画像と前記第２カメラから取得した第２画像とを合成して合成画像を生成することを特徴とする、付記１、２、４のいずれか１項に記載の撮像システム。 (Appendix 8)
Each of the first camera and the second camera includes an infrared image sensor having sensitivity to both an infrared wavelength emitted from an object and a wavelength of the electromagnetic wave. The imaging system according to any one of claims.
(Appendix 9)
A first radar that obtains a first radar image including a locus of the electromagnetic wave applied to a region where the first region and the second region overlap;
A second radar that obtains a second radar image including a locus of the electromagnetic wave applied to an area where the first area and the second area overlap;
The positional relationship between the irradiation position of the electromagnetic wave by the first radar and the position of the first region imaged by the first camera is fixed,
The positional relationship between the irradiation position of the electromagnetic wave by the second radar and the position of the second region imaged by the second camera is fixed,
The computer controls the first radar and the second radar, and the locus of the electromagnetic wave included in the first radar image acquired from the first radar and the second radar acquired from the second radar. Generating a composite image by combining the first image acquired from the first camera and the second image acquired from the second camera based on at least one of the positions of the locus of the electromagnetic wave included in the image; The imaging system according to any one of appendices 1, 2, and 4, characterized by:

（付記１０）
前記コンピュータは、前記第１レーダから取得した第１レーダ画像内に含まれる前記電磁波の軌跡と前記第２レーダから取得した第２レーダ画像内に含まれる前記電磁波の軌跡との位置関係に基づいて、前記第１カメラから取得した第１画像と前記第２カメラから取得した第２画像とを合成して合成画像を生成することを特徴とする、付記９に記載の撮像システム。 (Appendix 10)
The computer is based on a positional relationship between the locus of the electromagnetic wave included in the first radar image acquired from the first radar and the locus of the electromagnetic wave included in the second radar image acquired from the second radar. The imaging system according to appendix 9, wherein a composite image is generated by combining the first image acquired from the first camera and the second image acquired from the second camera.

（付記１１）
前記第１レーダは、前記第１領域と前記第２領域とが重なっている領域に前記電磁波を照射し、前記電磁波の軌跡を含む前記第１レーダ画像を取得し、
前記第２レーダは、前記第１領域と前記第２領域とが重なっている領域に前記第１レーダによって照射された前記電磁波の軌跡を含む前記第２レーダ画像を取得し、
前記コンピュータは、前記第２レーダから取得した第２レーダ画像内に含まれる前記電磁波の軌跡の位置に基づいて、前記第１カメラから取得した第１画像と前記第２カメラから取得した第２画像とを合成して合成画像を生成することを特徴とする、付記９又は１０に記載の撮像システム。 (Appendix 11)
The first radar irradiates the electromagnetic wave to a region where the first region and the second region overlap, and acquires the first radar image including the locus of the electromagnetic wave,
The second radar acquires the second radar image including a locus of the electromagnetic wave irradiated by the first radar in a region where the first region and the second region overlap with each other,
The computer uses a first image acquired from the first camera and a second image acquired from the second camera based on a position of a locus of the electromagnetic wave included in a second radar image acquired from the second radar. The imaging system according to appendix 9 or 10, wherein a composite image is generated by combining

（付記１２）
前記第１カメラ及び前記第２カメラは、物体が放射する赤外線の波長に感度を持つ赤外線イメージセンサを備えることを特徴とする、１、２、４、９〜１１のいずれか１項に記載の撮像システム。 (Appendix 12)
The said 1st camera and the said 2nd camera are equipped with the infrared image sensor sensitive to the wavelength of the infrared rays which an object radiates | emits, It is any one of 1, 2, 4, 9-11 characterized by the above-mentioned. Imaging system.

１ 第１カメラ
１Ａ 電磁波の軌跡を含まない画像（第１レーザ光非照射時画像；第１電磁波非照射時画像；第１画像）
１Ｂ 電磁波の軌跡を含む画像（第１レーザ光照射時画像；第１電磁波照射時画像；第１画像）
２ 第２カメラ
２Ａ 電磁波の軌跡を含まない画像（第２レーザ光非照射時画像；第２電磁波非照射時画像；第２画像）
２Ｂ 電磁波の軌跡を含む画像（第２レーザ光照射時画像；第２電磁波照射時画像；第２画像）
３ コンピュータ
４ レーザ光源（電磁波源）
５ ＣＰＵ
６ メモリ
７ 記憶装置
８ 入力装置
９ 表示装置
１０、１１ 画像処理回路
１２ レーザ駆動回路（電磁波源駆動回路）
１３ フレームタイミング発生部
１４ 第１レーザ軌跡抽出部
１５ 第２レーザ軌跡抽出部
１６、１６Ｘ 画像位置関係計算部
１７ 合成画像生成部
２０ 合成画像
３１ 第１レーダ
３１Ａ 第１レーダ画像
３２ 第２レーダ
３２Ａ 第２レーダ画像
Ｔ１、Ｔ２ 遠方の被写体
Ｘ 第１領域
Ｙ 第２領域
Ｚ 第１領域と第２領域とが重なっている領域 DESCRIPTION OF SYMBOLS 1 1st camera 1A Image which does not include the locus | trajectory of electromagnetic waves (The image at the time of 1st laser beam non-irradiation; The image at the time of 1st electromagnetic wave non-irradiation; 1st image)
1B Image including locus of electromagnetic wave (first laser light irradiation image; first electromagnetic wave irradiation image; first image)
2 Second camera 2A An image that does not include the locus of electromagnetic waves (second laser beam non-irradiation image; second electromagnetic wave non-irradiation image; second image)
2B Image including electromagnetic wave locus (second laser light irradiation image; second electromagnetic wave irradiation image; second image)
3 Computer 4 Laser light source (electromagnetic wave source)
5 CPU
6 Memory 7 Storage device 8 Input device 9 Display device 10, 11 Image processing circuit 12 Laser drive circuit (electromagnetic wave source drive circuit)
13 Frame Timing Generation Unit 14 First Laser Trajectory Extraction Unit 15 Second Laser Trajectory Extraction Unit 16, 16X Image Position Relationship Calculation Unit 17 Composite Image Generation Unit 20 Composite Image 31 First Radar 31A First Radar Image 32 Second Radar 32A First 2 Radar images T1, T2 Distant subject X First area Y Second area Z Area where first area and second area overlap

Claims (7)

第１領域を撮像する第１カメラと、
第２領域を撮像する第２カメラと、
前記第１領域と前記第２領域とが重なっている領域に照射された電磁波の軌跡を含む画像を取得し、前記画像内に含まれる前記電磁波の軌跡の位置に基づいて、前記第１カメラから取得した第１画像と前記第２カメラから取得した第２画像とを合成して合成画像を生成するコンピュータとを備えることを特徴とする撮像システム。 A first camera that images the first region;
A second camera that images the second region;
An image including a trajectory of the electromagnetic wave irradiated to an area where the first region and the second region overlap is acquired, and based on the position of the trajectory of the electromagnetic wave included in the image, from the first camera An imaging system comprising: a computer that generates a composite image by combining the acquired first image and the second image acquired from the second camera. 前記電磁波は、大気中で吸収される波長の電磁波であることを特徴とする、請求項１に記載の撮像システム。   The imaging system according to claim 1, wherein the electromagnetic wave is an electromagnetic wave having a wavelength that is absorbed in the atmosphere. 前記電磁波は、水又は一酸化炭素の吸収波長に相当する波長の電磁波であることを特徴とする、請求項１又は２に記載の撮像システム。   The imaging system according to claim 1, wherein the electromagnetic wave is an electromagnetic wave having a wavelength corresponding to an absorption wavelength of water or carbon monoxide. 前記電磁波は、１９０〜２００ＧＨｚ、１２０〜１３０ＧＨｚ又は６０ＧＨｚの電磁波であることを特徴とする、請求項１又は２に記載の撮像システム。   The imaging system according to claim 1, wherein the electromagnetic wave is an electromagnetic wave of 190 to 200 GHz, 120 to 130 GHz, or 60 GHz. 前記第１領域と前記第２領域とが重なっている領域に前記電磁波を照射する電磁波源を備え、
前記コンピュータは、前記電磁波源による前記電磁波の照射／非照射を制御するとともに、前記第１カメラから取得した第１電磁波照射時画像内に含まれる前記電磁波の軌跡の位置及び前記第２カメラから取得した第２電磁波照射時画像内に含まれる前記電磁波の軌跡の位置の少なくとも一方に基づいて、前記第１カメラから取得した第１電磁波非照射時画像と前記第２カメラから取得した第２電磁波非照射時画像とを合成して合成画像を生成することを特徴とする、請求項１〜３のいずれか１項に記載の撮像システム。 An electromagnetic wave source for irradiating the electromagnetic wave on a region where the first region and the second region overlap;
The computer controls the irradiation / non-irradiation of the electromagnetic wave by the electromagnetic wave source, and obtains the position of the locus of the electromagnetic wave included in the first electromagnetic wave irradiation image acquired from the first camera and the second camera. Based on at least one of the positions of the locus of the electromagnetic wave included in the second electromagnetic wave irradiation image, the first electromagnetic wave non-irradiation image acquired from the first camera and the second electromagnetic wave non-acquisition acquired from the second camera are obtained. The imaging system according to any one of claims 1 to 3, wherein a combined image is generated by combining the image during irradiation. 前記第１カメラ及び前記第２カメラは、物体が放射する赤外線の波長と前記電磁波の波長との両方に感度を持つ赤外線イメージセンサを備えることを特徴とする、請求項１〜３、５のいずれか１項に記載の撮像システム。   The said 1st camera and the said 2nd camera are equipped with the infrared image sensor which has sensitivity to both the wavelength of the infrared rays which an object radiates | emits, and the wavelength of the said electromagnetic waves, The any one of Claims 1-3 characterized by the above-mentioned. The imaging system according to claim 1. 前記第１領域と前記第２領域とが重なっている領域に照射された前記電磁波の軌跡を含む第１レーダ画像を取得する第１レーダと、
前記第１領域と前記第２領域とが重なっている領域に照射された前記電磁波の軌跡を含む第２レーダ画像を取得する第２レーダとを備え、
前記第１レーダによる前記電磁波の照射位置と前記第１カメラが撮像する第１領域の位置との位置関係が固定されており、
前記第２レーダによる前記電磁波の照射位置と前記第２カメラが撮像する第２領域の位置との位置関係が固定されており、
前記コンピュータは、前記第１レーダ及び前記第２レーダを制御するとともに、前記第１レーダから取得した第１レーダ画像内に含まれる前記電磁波の軌跡の位置及び前記第２レーダから取得した第２レーダ画像内に含まれる前記電磁波の軌跡の位置の少なくとも一方に基づいて、前記第１カメラから取得した第１画像と前記第２カメラから取得した第２画像とを合成して合成画像を生成することを特徴とする、請求項１、２、４のいずれか１項に記載の撮像システム。 A first radar that obtains a first radar image including a locus of the electromagnetic wave applied to a region where the first region and the second region overlap;
A second radar that obtains a second radar image including a locus of the electromagnetic wave applied to an area where the first area and the second area overlap;
The positional relationship between the irradiation position of the electromagnetic wave by the first radar and the position of the first region imaged by the first camera is fixed,
The positional relationship between the irradiation position of the electromagnetic wave by the second radar and the position of the second region imaged by the second camera is fixed,
The computer controls the first radar and the second radar, and the locus of the electromagnetic wave included in the first radar image acquired from the first radar and the second radar acquired from the second radar. Generating a composite image by combining the first image acquired from the first camera and the second image acquired from the second camera based on at least one of the positions of the locus of the electromagnetic wave included in the image; The imaging system according to claim 1, characterized in that:
JP2014008241A 2014-01-21 2014-01-21 Imaging system Expired - Fee Related JP6191473B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014008241A JP6191473B2 (en) 2014-01-21 2014-01-21 Imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014008241A JP6191473B2 (en) 2014-01-21 2014-01-21 Imaging system

Publications (2)

Publication Number Publication Date
JP2015139031A true JP2015139031A (en) 2015-07-30
JP6191473B2 JP6191473B2 (en) 2017-09-06

Family

ID=53769789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014008241A Expired - Fee Related JP6191473B2 (en) 2014-01-21 2014-01-21 Imaging system

Country Status (1)

Country Link
JP (1) JP6191473B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018155198A1 (en) * 2017-02-22 2018-08-30 ソニー株式会社 Information processing device and method
JP2020057967A (en) * 2018-10-03 2020-04-09 キヤノン株式会社 Image processing device, imaging device, control method of image processing device, and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161068A (en) * 1995-12-12 1997-06-20 Furukawa Electric Co Ltd:The Picture photographing method and picture edition device using the method
JP2014164363A (en) * 2013-02-22 2014-09-08 Hitachi Ltd Multiple camera photographing device and multiple camera photographing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161068A (en) * 1995-12-12 1997-06-20 Furukawa Electric Co Ltd:The Picture photographing method and picture edition device using the method
JP2014164363A (en) * 2013-02-22 2014-09-08 Hitachi Ltd Multiple camera photographing device and multiple camera photographing method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018155198A1 (en) * 2017-02-22 2018-08-30 ソニー株式会社 Information processing device and method
JPWO2018155198A1 (en) * 2017-02-22 2019-12-12 ソニー株式会社 Information processing apparatus and method
US11062466B2 (en) 2017-02-22 2021-07-13 Sony Corporation Information processing apparatus and method
JP7040511B2 (en) 2017-02-22 2022-03-23 ソニーグループ株式会社 Information processing equipment and methods
JP2020057967A (en) * 2018-10-03 2020-04-09 キヤノン株式会社 Image processing device, imaging device, control method of image processing device, and program
CN110995982A (en) * 2018-10-03 2020-04-10 佳能株式会社 Image processing apparatus, control method thereof, imaging apparatus, and recording medium
US11301955B2 (en) 2018-10-03 2022-04-12 Canon Kabushiki Kaisha Image processing apparatus, imaging apparatus, method for controlling image processing apparatus and recording medium
CN110995982B (en) * 2018-10-03 2022-06-07 佳能株式会社 Image processing apparatus, control method therefor, imaging apparatus, and recording medium

Also Published As

Publication number Publication date
JP6191473B2 (en) 2017-09-06

Similar Documents

Publication Publication Date Title
TWI684748B (en) Pulsed repetition frequency detector, tracker, and decoder systems and imaging devices
JP6219017B2 (en) OLED display device with light detection function
US20070247517A1 (en) Method and apparatus for producing a fused image
CN109425305A (en) Use the depth measurement of multiple pulsed structured light projection instrument
WO2015098288A1 (en) Image processing device and image processing method
US20160170486A1 (en) Eye gaze imaging
JP2016008875A (en) Distance measurement device
JP6191473B2 (en) Imaging system
JP2017208595A (en) Monitoring system
CN104799874B (en) Projecting method, device and system and the Medical Devices of medical image
JP2011028042A (en) Detection system and detection method
JP5605565B2 (en) Object identification device and object identification method
KR20140046623A (en) Safety system using transparent display
JP2012198802A (en) Intrusion object detection system
JP2007218806A (en) Laser monitoring method
JP5624267B2 (en) Infrared imaging apparatus and infrared imaging method
JP2007240309A (en) Target position aligning device and target position aligning method
US8994943B2 (en) Selectivity by polarization
US20180056852A1 (en) Method for capturing objects in the environment of a vehicle
JP6774603B2 (en) Laser light irradiation detection device, laser light irradiation detection method, laser light irradiation detection system
JP2015069572A (en) Optical imaging device
JP4969900B2 (en) Hazardous area protection device
WO2016142976A1 (en) Image pickup system
JP2015152316A (en) Sound visualizing apparatus
JPWO2015166524A1 (en) Extreme ultraviolet light generator

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170724

R150 Certificate of patent or registration of utility model

Ref document number: 6191473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees