JP2021027381A

JP2021027381A - Imaging system

Info

Publication number: JP2021027381A
Application number: JP2019140929A
Authority: JP
Inventors: 松井　良行; Yoshiyuki Matsui; 良行松井
Original assignee: Nakasha Creative Corp
Current assignee: Nakasha Creative Corp
Priority date: 2019-07-31
Filing date: 2019-07-31
Publication date: 2021-02-22
Anticipated expiration: 2039-07-31
Also published as: JP6618163B1

Abstract

To perform accurate association among frames of video at the same time of a plurality of video cameras to enable frames at the same time of respective video imaged from a traveling vehicle to be displayed simultaneously on a screen.SOLUTION: An imaging system enables respective video imaged using video cameras 21 to 26 mounted on a mobile vehicle to be reproduced synchronously. The imaging system includes: data generation means 41 for generating time data and position data based on a GPS signal received by reception means 10 and generating time data at each subdivision time obtained by subdividing a period of each single PPS signal at even intervals; data control means 42 for storing the time data and the position data generated by the data generation means 41 in record of storage means 51; and number control means 43 for generating number data in order of time corresponding to the time data generated by the data generation means 41, outputting the number data to the respective video cameras 21 to 26 to make the number data be recorded in voice tracks, and transferring the number data to the data control means 42 to make the number data be recorded in a record of corresponding time data in the storage means 51.SELECTED DRAWING: Figure 3

Description

本発明は、各々異なる方向を向けて移動車両に搭載される２以上のビデオカメラにより撮影される各映像を、後日、同期再生可能とするための撮像システムに関する。
本発明の撮像システムは、車両で走行しつつ異なる方向から道路や線路を撮影し、併せて、各映像フレームの撮影の日時刻や位置を各映像フレームに対応付けて記録するものであり、後日、道路や線路の所望の位置或いは構造物を指定して、その状態や、その状態の経時変化を容易に確認し得るようにするものである。 The present invention relates to an imaging system for enabling synchronous reproduction of each image taken by two or more video cameras mounted on a moving vehicle in different directions at a later date.
The imaging system of the present invention photographs roads and railroad tracks from different directions while traveling in a vehicle, and at the same time, records the shooting date and time and position of each video frame in association with each video frame at a later date. , A desired position or structure of a road or railroad track is specified so that the state and the change over time of the state can be easily confirmed.

ＪＰ２０１６−０００５９８Ａ（特許文献１）には、車両動揺測定装置とデジタルビデオカメラとを画像同期装置を介して接続して成り、車両動揺測定装置にて生成した同期番号データを画像同期装置で音声レベル信号に変換して、デジタルビデオカメラの音声トラックに記録することが記載されている。 JP2016-000598A (Patent Document 1) is formed by connecting a vehicle sway measuring device and a digital video camera via an image synchronization device, and the synchronization number data generated by the vehicle sway measurement device is used as an audio level by the image synchronization device. It is described that it is converted into a signal and recorded on the audio track of a digital video camera.

ＪＰ２０１６−０００５９８ＡJP2016-000598A

車両で高速走行しつつ道路や線路或いはその近辺の構造物を撮影しておき、後日、所望の位置や構造物を指定して、その状態や、その状態の経時変化を、複数の異なる方向から見た静止画像で確認できるようにしたいという要望がある。
また、高速走行中に各々異なる方向から撮影した複数の映像中から、所望の位置や所望の構造物が写り込んでいる静止画像であって、所望の方向から見た静止画像を、ピンポイントで指定して確認できるようにしたいという要望がある。
また、高速走行中に撮影した映像（動画）を再生する際に、当該の映像に関連する各種の情報（撮影日時刻，位置（緯度・経度，地図上の位置，ユーザに分かり易い位置表現），車両速度，等）を併せて表示できるようにしたいという要望がある。 While driving at high speed with a vehicle, take pictures of roads, railroad tracks, and structures in the vicinity, specify desired positions and structures at a later date, and change the state and changes over time in that state from multiple different directions. There is a request to be able to confirm with the still image seen.
In addition, it is a still image in which a desired position and a desired structure are reflected from a plurality of images taken from different directions during high-speed driving, and a still image viewed from a desired direction can be pinpointed. There is a request to specify and confirm.
In addition, when playing back a video (video) shot while driving at high speed, various information related to the video (shooting date and time, position (latitude / longitude, position on map, position expression that is easy for the user to understand)). , Vehicle speed, etc.) There is a request to be able to display it together.

また、高速走行中に撮影した映像中から、所望の構造物が写り込んでいる静止画像を指定して、当該の構造物（橋梁，トンネルの壁や天井，路面状態，標識，等）を、その状況に応じて確認できるようにしたいという要望がある。
例えば、静止画像内の当該構造物までの距離を確認できるようにすることで、当該構造物の状況についてより詳細な知見を得たいという要望がある。
また、例えば、路面の静止画像のみからでは、路面状況（細かなひび割れ等）の詳細を十分に知り得ないような場合には、路面上の走行によって車両に生ずる各種の状態変化を補助の情報として、より詳細な知見を得たいという要望もある。
本発明は、上述の要望に応え得るようにすることを目的とする。 In addition, by designating a still image in which the desired structure is reflected from the images taken while driving at high speed, the relevant structure (bridge, tunnel wall or ceiling, road surface condition, sign, etc.) can be displayed. There is a request to be able to confirm according to the situation.
For example, there is a desire to obtain more detailed knowledge about the situation of the structure by making it possible to confirm the distance to the structure in the still image.
In addition, for example, when it is not possible to fully know the details of the road surface condition (small cracks, etc.) only from the still image of the road surface, information that assists various state changes that occur in the vehicle due to running on the road surface. There is also a desire to obtain more detailed knowledge.
An object of the present invention is to be able to meet the above-mentioned demands.

本発明を、下記の［１］〜［１１］に記す。なお、この項（［課題を解決するための手段］）と次項（［発明の効果］）に於いて、符号は理解を容易にするために付したものであり、本発明は、符号の構成に限定されない。 The present invention will be described in the following [1] to [11]. In this section ([Means for Solving the Problems]) and the next section ([Effects of the Invention]), the reference numerals are added for easy understanding, and the present invention has the structure of the reference numerals. Not limited to.

［１］発明１
ＧＰＳ信号を受信する受信手段１０を有し、移動車両に搭載される２以上のビデオカメラ２１，２２，，，２６を用いて撮影される各映像を同期再生可能とするための撮像システムであって、
前記受信手段１０により受信されるＧＰＳ信号に基づく時刻データ及び位置データを生成するとともに、前記時刻データに基づく各１ＰＰＳ信号の間を等間隔に細分して成る各細分時刻の時刻データを生成するデータ生成手段４１と、
前記データ生成手段４１により生成される時刻データ及び位置データを所定の記憶手段５１のレコードに格納するデータ制御手段４２と、
前記データ生成手段４１により生成される時刻データに対応する時刻順の番号データを生成するとともに、該番号データを、前記各ビデオカメラ２１，２２，，，２６へ出力して各ビデオカメラの音声トラックに記録させ、及び、前記データ制御手段４２に渡して当該番号データに対応する時刻データのレコードに格納させる番号制御手段４３と、
を有することを特徴とする撮像システム。 [1] Invention 1
It is an imaging system that has a receiving means 10 for receiving GPS signals and enables synchronous reproduction of each video captured by two or more video cameras 21, 22, 2, 26 mounted on a moving vehicle. hand,
Data that generates time data and position data based on the GPS signal received by the receiving means 10 and also generates time data of each subdivided time formed by subdividing each 1PPS signal based on the time data at equal intervals. Generation means 41 and
A data control means 42 that stores time data and position data generated by the data generation means 41 in a record of a predetermined storage means 51, and
Number data in chronological order corresponding to the time data generated by the data generation means 41 is generated, and the number data is output to the video cameras 21, 22, 2, 26, and the audio track of each video camera. And the number control means 43 which is passed to the data control means 42 and stored in the time data record corresponding to the number data.
An imaging system characterized by having.

データ生成手段４１の機能の一部、即ち、「ＧＰＳ信号に基づく時刻データ及び位置データを生成する」機能や「時刻データに基づく１ＰＰＳ信号」を取り出す機能は、市販のＧＰＳ受信機１０ａが標準に具備している機能を用いて構成することもできる。
１ＰＰＳ信号とは、ＧＰＳ衛星からの信号に基づいてＧＰＳ受信機が生成する、１パルス／秒の信号である。
位置データとは、緯度・経度データである。
時刻データとは、年・月・日・時・分・秒のデータである。この時刻データは協定世界時で与えられるため、適宜、９時間をプラスして日本標準時に補正してもよい。
番号データは、Ｄ／Ａ変換して、音声トラックに記録される。
各１ＰＰＳ信号の間を等間隔に細分する場合、例えば、１０等分する場合、映像のフレームレートが３０ｆｐｓであれば、３フレーム毎に一つの番号データが割り当てられることになる。複数台のビデオカメラの録画スタート時刻が少しずれた場合でも、共通の番号データを持つフレームを同一時刻として再生することで、同期再生が可能となる。
移動車両としては、道路上を走行する自動車を例示できるが、これに限定されず、線路上を走行する列車であってもよい。 A commercially available GPS receiver 10a is standard for some of the functions of the data generation means 41, that is, the function of "generating time data and position data based on GPS signals" and the function of extracting "1PPS signal based on time data". It can also be configured by using the functions provided.
The 1PPS signal is a signal of 1 pulse / second generated by a GPS receiver based on a signal from a GPS satellite.
The position data is latitude / longitude data.
The time data is data of year, month, day, hour, minute, and second. Since this time data is given in Coordinated Universal Time, it may be corrected to Japan Standard Time by adding 9 hours as appropriate.
The number data is D / A converted and recorded in the voice track.
When subdividing each 1PPS signal at equal intervals, for example, when dividing into 10 equal parts, if the frame rate of the video is 30 fps, one number data is assigned every 3 frames. Even if the recording start times of multiple video cameras are slightly different, synchronous playback is possible by playing back frames with common number data at the same time.
Examples of the moving vehicle include automobiles traveling on roads, but the present invention is not limited to this, and trains traveling on railroad tracks may be used.

［２］発明２
ＧＰＳ信号を受信する受信手段１０を有し、移動車両に搭載される２以上のビデオカメラ２１，２２，，，２６を用いて撮影される各映像を同期再生可能とするための撮像システムであって、
前記受信手段１０により受信されるＧＰＳ信号に基づく時刻データ及び位置データを生成するとともに、前記時刻データに基づく各１ＰＰＳ信号の間を等間隔に細分して成る各細分時刻の時刻データを生成するデータ生成手段４１と、
前記データ生成手段４１により生成される時刻データ及び位置データを所定の記憶手段５１のレコードに格納するデータ制御手段４２と、
前記データ生成手段４１により生成される時刻データに対応する時刻順の番号データを生成するとともに、該番号データを、前記各ビデオカメラ２１，２２，，，２６へ出力して各ビデオカメラの第１の音声トラックに記録させ、及び、前記データ制御手段４２に渡して当該番号データに対応する時刻データのレコードに格納させる番号制御手段４３と、
前記ビデオカメラ２１，２２，，，２６の何れか１以上により撮影される映像に関連する物理量を検出する１又は２以上のセンサ装置３０と、
前記センサ装置３０の検出信号を当該検出信号に関連する映像を撮影するビデオカメラへ出力して第２の音声トラックに記録させるセンサ制御手段４４と、
を有することを特徴とする撮像システム。
例えば、第１の音声トラックをＬ／Ｒチャンネル、第２の音声トラックをＲ／Ｌチャンネルとして構成してもよい。
センサの検出信号は、Ａ／Ｄ変換され、データ制御手段４２に渡されて、記憶手段５１のレコード（番号データにより紐付けされるレコード）に格納される。このセンサデータは、また、Ｄ／Ａ変換されてビデオカメラの第２の音声トラックに記録され、第１の音声トラックにＤ／Ａ変換されて記録される番号データに紐付けされる。
［３］発明３
ＧＰＳ信号を受信する受信手段１０を有し、移動車両に搭載されて前方を撮影する前方ビデオカメラ２１及び非前方を撮影する１又は２以上の非前方ビデオカメラ２２，，，２６の各映像を同期再生可能とするための撮像システムであって、
前記受信手段１０により受信されるＧＰＳ信号に基づく時刻データ及び位置データを生成するとともに、前記時刻データに基づく各１ＰＰＳ信号の間を等間隔に細分して成る各細分時刻の時刻データを生成するデータ生成手段４１と、
前記データ生成手段４１により生成される時刻データ及び位置データを所定の記憶手段５１のレコードに格納するデータ制御手段４２と、
前記データ生成手段４１により生成される時刻データに対応する時刻順の番号データを生成するとともに、該番号データを、前記各ビデオカメラ２１，２２，，，２６へ出力して各ビデオカメラの第１の音声トラックに記録させ、及び、前記データ制御手段４２に渡して当該番号データに対応する時刻データのレコードに格納させる番号制御手段４３と、
前記前方及び非前方のビデオカメラ２１，２２，，，２６の何れか１以上により撮影される映像に関連する物理量を検出する１又は２以上のセンサ装置３０と、
前記センサ装置３０の検出信号を当該検出信号に関連する映像を撮影する前記非前方ビデオカメラ２２，，，２６へ出力して第２の音声トラックに記録させるセンサ制御手段４４と、
を有することを特徴とする撮像システム。
［４］発明４
前記発明３に於いて、
前記データ制御手段４２は、前記データ生成手段４１により生成される位置データを前記前方ビデオカメラ２１へ出力して第２の音声トラックに記録させる、
ことを特徴とする撮像システム。 [2] Invention 2
It is an imaging system that has a receiving means 10 for receiving GPS signals and enables synchronous reproduction of each video captured by two or more video cameras 21, 22, 2, 26 mounted on a moving vehicle. hand,
Data that generates time data and position data based on the GPS signal received by the receiving means 10 and also generates time data of each subdivided time formed by subdividing each 1PPS signal based on the time data at equal intervals. Generation means 41 and
A data control means 42 that stores time data and position data generated by the data generation means 41 in a record of a predetermined storage means 51, and
The number data in chronological order corresponding to the time data generated by the data generation means 41 is generated, and the number data is output to each of the video cameras 21, 22, 2, 26, and the first of each video camera. And the number control means 43 which is recorded in the voice track of the above and is passed to the data control means 42 and stored in the record of the time data corresponding to the number data.
A sensor device 30 of 1 or 2 or more that detects a physical quantity related to an image captured by any one or more of the video cameras 21, 22, 2, and 26.
A sensor control means 44 that outputs the detection signal of the sensor device 30 to a video camera that captures an image related to the detection signal and records it on a second audio track.
An imaging system characterized by having.
For example, the first audio track may be configured as an L / R channel, and the second audio track may be configured as an R / L channel.
The detection signal of the sensor is A / D converted, passed to the data control means 42, and stored in the record (record associated with the number data) of the storage means 51. This sensor data is also D / A converted and recorded in the second audio track of the video camera, and is associated with the number data that is D / A converted and recorded in the first audio track.
[3] Invention 3
Each image of the front video camera 21 which has a receiving means 10 for receiving a GPS signal and is mounted on a moving vehicle to shoot the front and one or more non-front video cameras 22 ,,, 26 which shoot the non-front. It is an imaging system that enables synchronous playback.
Data that generates time data and position data based on the GPS signal received by the receiving means 10 and also generates time data of each subdivided time formed by subdividing each 1PPS signal based on the time data at equal intervals. Generation means 41 and
A data control means 42 that stores time data and position data generated by the data generation means 41 in a record of a predetermined storage means 51, and
The number data in chronological order corresponding to the time data generated by the data generation means 41 is generated, and the number data is output to each of the video cameras 21, 22, 2, 26, and the first of each video camera. And the number control means 43 which is recorded in the voice track of the above and is passed to the data control means 42 and stored in the record of the time data corresponding to the number data.
One or two or more sensor devices 30 for detecting a physical quantity related to an image captured by any one or more of the front and non-front video cameras 21, 22, 2, and 26.
A sensor control means 44 that outputs the detection signal of the sensor device 30 to the non-forward video cameras 22 ,,, 26 that captures an image related to the detection signal and records it on a second audio track.
An imaging system characterized by having.
[4] Invention 4
In the invention 3, the invention 3
The data control means 42 outputs the position data generated by the data generation means 41 to the front video camera 21 and causes the second audio track to record the position data.
An imaging system characterized by this.

［５］発明５
前記発明２〜４の何れかに於いて、
前記物理量の一つは、ビデオカメラから被写体までの距離である、
ことを特徴とする撮像システム。
［６］発明６
前記発明２〜４の何れかに於いて、
前記物理量の一つは、路面の状態に応じて生ずるロードノイズである、
ことを特徴とする撮像システム。
［７］発明７
前記発明２〜４の何れかに於いて、
前記物理量の一つは、当該車両の傾斜角である、
ことを特徴とする撮像システム。
［８］発明８
前記発明２〜４の何れかに於いて、
前記物理量の一つは、当該車両の走行速度である、
ことを特徴とする撮像システム。 [5] Invention 5
In any of the inventions 2 to 4,
One of the physical quantities is the distance from the video camera to the subject.
An imaging system characterized by this.
[6] Invention 6
In any of the inventions 2 to 4,
One of the physical quantities is road noise generated according to the condition of the road surface.
An imaging system characterized by this.
[7] Invention 7
In any of the inventions 2 to 4,
One of the physical quantities is the inclination angle of the vehicle.
An imaging system characterized by this.
[8] Invention 8
In any of the inventions 2 to 4,
One of the physical quantities is the traveling speed of the vehicle.
An imaging system characterized by this.

［９］発明９
前記発明１〜８の何れかに於いて、
前記データ生成手段４１は、前記各細分時刻の時刻データとともに各時刻データに対応する位置データを生成する、
ことを特徴とする撮像システム。
［１０］発明１０
前記発明９に於いて、
前記データ生成手段４１は、各細分時刻の時刻データに対応する位置データを生成する処理を、各細分時刻の時刻データを生成する処理とは別途の後のタイミングで実行し、
前記データ制御手段４２は、各細分時刻の時刻データに対応する位置データを格納する処理を、前記別途の後のタイミングで実行する、
ことを特徴とする撮像システム。
別途のタイミングとしては、例えば、各ビデオカメラ２１，，，２６で撮影した映像を編集等するタイミングを挙げることができる。
編集には、例えば、映像から各種の物体、例えば、高速道路上又はその近辺の橋梁等の構造物を抽出し、当該の構造物を示すデータを、当該の構造物が映っているフレームに対応する番号データのレコードに格納して、後の検索に利用可能とするような処理を含めてもよい。 [9] Invention 9
In any of the inventions 1 to 8,
The data generation means 41 generates position data corresponding to each time data together with the time data of each subdivision time.
An imaging system characterized by this.
[10] Invention 10
In the invention 9,
The data generation means 41 executes the process of generating the position data corresponding to the time data of each subdivision time at a later timing different from the process of generating the time data of each subdivision time.
The data control means 42 executes a process of storing position data corresponding to the time data of each subdivided time at a later timing.
An imaging system characterized by this.
As a separate timing, for example, the timing of editing the video captured by each video camera 21, ,, 26 can be mentioned.
For editing, for example, various objects, for example, structures such as bridges on or near the highway are extracted from the video, and the data indicating the structure corresponds to the frame in which the structure is reflected. It may include a process of storing it in a record of number data to be used so that it can be used for a later search.

［１１］発明１１
前記発明１〜１０の何れかに於いて、さらに、
時刻データに対応付けて前記所定の記憶手段５１に格納されている番号データと、映像フレームに対応付けて前記ビデオカメラ２１，２２，，，２６に記録されている番号データとの照合に基づいて、当該ビデオカメラの各映像フレームに時刻データを対応付ける較正手段を有する、
ことを特徴とする撮像システム。 [11] Invention 11
In any of the inventions 1 to 10, further
Based on the collation between the number data stored in the predetermined storage means 51 in association with the time data and the number data recorded in the video cameras 21, 22, 2, 26 in association with the video frame. , Has a calibration means for associating time data with each video frame of the video camera.
An imaging system characterized by this.

発明１は、ＧＰＳ信号を受信する受信手段１０を有し、移動車両に搭載される２以上のビデオカメラ２１，２２，，，２６を用いて撮影される各映像を同期再生可能とするための撮像システムであって、前記受信手段１０により受信されるＧＰＳ信号に基づく時刻データ及び位置データを生成するとともに、前記時刻データに基づく各１ＰＰＳ信号の間を等間隔に細分して成る各細分時刻の時刻データを生成するデータ生成手段４１と、前記データ生成手段４１により生成される時刻データ及び位置データを所定の記憶手段５１のレコードに格納するデータ制御手段４２と、前記データ生成手段４１により生成される時刻データに対応する時刻順の番号データを生成するとともに、該番号データを、前記各ビデオカメラ２１，２２，，，２６へ出力して各ビデオカメラの音声トラックに記録させ、及び、前記データ制御手段４２に渡して当該番号データに対応する時刻データのレコードに格納させる番号制御手段４３とを有することを特徴とする撮像システムであるため、１ＰＰＳ信号の時間間隔（１秒）を更に細分した短い時間間隔で生成される番号データを介して、各ビデオカメラの同一時刻の映像のフレームを正確に対応付けることができる。このため、例えば、走行中の車両から複数の方向を撮影した各映像の同一時刻のフレームを同時に画面表示する等も可能となる。
発明２は、ＧＰＳ信号を受信する受信手段１０を有し、移動車両に搭載される２以上のビデオカメラ２１，２２，，，２６を用いて撮影される各映像を同期再生可能とするための撮像システムであって、前記受信手段１０により受信されるＧＰＳ信号に基づく時刻データ及び位置データを生成するとともに、前記時刻データに基づく各１ＰＰＳ信号の間を等間隔に細分して成る各細分時刻の時刻データを生成するデータ生成手段４１と、前記データ生成手段４１により生成される時刻データ及び位置データを所定の記憶手段５１のレコードに格納するデータ制御手段４２と、前記データ生成手段４１により生成される時刻データに対応する時刻順の番号データを生成するとともに、該番号データを、前記各ビデオカメラ２１，２２，，，２６へ出力して各ビデオカメラの第１の音声トラックに記録させ、及び、前記データ制御手段４２に渡して当該番号データに対応する時刻データのレコードに格納させる番号制御手段４３と、前記ビデオカメラ２１，２２，，，２６の何れか１以上により撮影される映像に関連する物理量を検出する１又は２以上のセンサ装置３０と、前記センサ装置３０の検出信号を当該検出信号に関連する映像を撮影するビデオカメラへ出力して第２の音声トラックに記録させるセンサ制御手段４４とを有することを特徴とする撮像システムであるため、１ＰＰＳ信号の時間間隔（１秒）を更に細分した短い時間間隔で生成される番号データを介して、各ビデオカメラの同一時刻の映像のフレームを正確に対応付けることができ、さらに、各映像に関連する物理量の検出値を正確に対応付けることができる。このため、例えば、走行中の車両から複数の方向を撮影した各映像の同一時刻のフレームを同時に画面表示するとともに、その画面に関連する物理量の検出値を併せて表示する等も可能となる。
発明３は、ＧＰＳ信号を受信する受信手段１０を有し、移動車両に搭載されて前方を撮影する前方ビデオカメラ２１及び非前方を撮影する１又は２以上の非前方ビデオカメラ２２，，，２６の各映像を同期再生可能とするための撮像システムであって、前記受信手段１０により受信されるＧＰＳ信号に基づく時刻データ及び位置データを生成するとともに、前記時刻データに基づく各１ＰＰＳ信号の間を等間隔に細分して成る各細分時刻の時刻データを生成するデータ生成手段４１と、前記データ生成手段４１により生成される時刻データ及び位置データを所定の記憶手段５１のレコードに格納するデータ制御手段４２と、前記データ生成手段４１により生成される時刻データに対応する時刻順の番号データを生成するとともに、該番号データを、前記各ビデオカメラ２１，２２，，，２６へ出力して各ビデオカメラの第１の音声トラックに記録させ、及び、前記データ制御手段４２に渡して当該番号データに対応する時刻データのレコードに格納させる番号制御手段４３と、前記前方及び非前方のビデオカメラ２１，２２，，，２６の何れか１以上により撮影される映像に関連する物理量を検出する１又は２以上のセンサ装置３０と、前記センサ装置３０の検出信号を当該検出信号に関連する映像を撮影する前記非前方ビデオカメラ２２，，，２６へ出力して第２の音声トラックに記録させるセンサ制御手段４４とを有することを特徴とする撮像システムであるため、１ＰＰＳ信号の時間間隔（１秒）を更に細分した短い時間間隔で生成される番号データを介して、前方及び非前方（前方以外）のビデオカメラの同一時刻の映像のフレームを正確に対応付けることができ、さらに、非前方に関しては各映像に関連する物理量の検出値を正確に対応付けることができる。このため、例えば、走行中の車両から前方及び非前方の方向を撮影した各映像の同一時刻のフレームを同時に画面表示するとともに、非前方の画面に関しては、その画面に関連する物理量の検出値を併せて表示する等も可能となる。
発明４は、発明３に於いて、前記データ制御手段４２は、前記データ生成手段４１により生成される位置データを前記前方ビデオカメラ２１へ出力して第２の音声トラックに記録させることを特徴とする撮像システムであるため、１ＰＰＳ信号の時間間隔（１秒）を更に細分した短い時間間隔で生成される番号データを介して、前方及び非前方のビデオカメラの同一時刻の映像のフレームを正確に対応付けることができ、さらに、前方に関しては位置を正確に対応付けることができるとともに非前方に関しては映像に関連する物理量の検出値を正確に対応付けることができる。このため、例えば、走行中の車両から前方を含む各方向を撮影した映像の同一時刻のフレームを同時に画面表示しつつ、前方映像に位置（緯度・経度）を表示するとともに、非前方には、その画面に関連する物理量の検出値を併せて表示する等も可能となる。 The first invention has a receiving means 10 for receiving a GPS signal, and is capable of synchronously reproducing each image captured by two or more video cameras 21, 22, 2, 26 mounted on a moving vehicle. In the imaging system, time data and position data based on the GPS signal received by the receiving means 10 are generated, and each 1PPS signal based on the time data is subdivided at equal intervals for each subdivided time. Data generation means 41 for generating time data, data control means 42 for storing time data and position data generated by the data generation means 41 in a record of a predetermined storage means 51, and data generation means 41. The number data in chronological order corresponding to the time data is generated, and the number data is output to the video cameras 21, 22, 2, 26 and recorded in the audio track of each video camera, and the data Since the imaging system is characterized by having a number control means 43 that is passed to the control means 42 and stored in a record of time data corresponding to the number data, the time interval (1 second) of the 1PPS signal is further subdivided. Through the number data generated at short time intervals, it is possible to accurately associate the frames of the video of the same time of each video camera. Therefore, for example, it is possible to simultaneously display frames at the same time of each video captured in a plurality of directions from a moving vehicle on the screen.
The second invention has a receiving means 10 for receiving a GPS signal, and makes it possible to synchronously reproduce each image taken by two or more video cameras 21, 22, 2, 26 mounted on a moving vehicle. In the imaging system, time data and position data based on the GPS signal received by the receiving means 10 are generated, and each 1PPS signal based on the time data is subdivided at equal intervals for each subdivided time. Data generation means 41 for generating time data, data control means 42 for storing time data and position data generated by the data generation means 41 in a record of a predetermined storage means 51, and data generation means 41. The number data in chronological order corresponding to the time data is generated, and the number data is output to the video cameras 21, 22, 2, 26, and recorded in the first audio track of each video camera. Related to the number control means 43 that is passed to the data control means 42 and stored in the time data record corresponding to the number data, and the image captured by any one or more of the video cameras 21, 22, 2, and 26. One or more sensor devices 30 that detect the physical amount to be processed, and a sensor control means that outputs the detection signal of the sensor device 30 to a video camera that captures an image related to the detection signal and records it in a second audio track. Since it is an imaging system characterized by having 44, the video of the same time of each video camera is transmitted through the number data generated at short time intervals in which the time interval (1 second) of the 1PPS signal is further subdivided. Frames can be accurately associated, and further, detection values of physical quantities related to each video can be accurately associated. Therefore, for example, it is possible to simultaneously display the frames of the same time of each image captured in a plurality of directions from the moving vehicle on the screen, and also display the detected values of the physical quantities related to the screen.
The third invention has a receiving means 10 for receiving a GPS signal, and is mounted on a moving vehicle and has a front video camera 21 for photographing the front and one or more non-front video cameras 22 ,,, 26 for photographing the non-front. It is an imaging system for synchronously reproducing each of the images of the above, and generates time data and position data based on the GPS signal received by the receiving means 10, and also between each 1PPS signal based on the time data. A data generation means 41 that generates time data of each subdivided time divided into equal intervals, and a data control means that stores the time data and position data generated by the data generation means 41 in a record of a predetermined storage means 51. Number data in chronological order corresponding to the time data generated by the data generation means 41 and 42 is generated, and the number data is output to each of the video cameras 21, 22, 2, and 26 to be output to each video camera. The number control means 43, which is recorded in the first audio track of the above and is passed to the data control means 42 and stored in the record of the time data corresponding to the number data, and the front and non-front video cameras 21 and 22. One or two or more sensor devices 30 that detect a physical quantity related to an image captured by any one or more of ,,, and 26, and the detection signal of the sensor device 30 that captures an image related to the detection signal. Since the imaging system is characterized by having a sensor control means 44 that outputs data to the non-forward video cameras 22, ,, 26 and records the data on the second audio track, the time interval (1 second) of the 1PPS signal is further increased. Through the number data generated at short time intervals that are subdivided, it is possible to accurately associate the frames of the same time video of the front and non-front (other than front) video cameras, and for the non-front, each video can be accurately associated. It is possible to accurately associate the detected values of related physical quantities. Therefore, for example, the frames of the same time of each image taken in the front and non-front directions from the moving vehicle are displayed on the screen at the same time, and for the non-front screen, the detected value of the physical quantity related to the screen is displayed. It is also possible to display it at the same time.
The fourth aspect of the invention is the third aspect of the present invention, wherein the data control means 42 outputs the position data generated by the data generation means 41 to the front video camera 21 and records the position data on the second audio track. Because it is an imaging system, the frame of the video at the same time of the front and non-front video cameras is accurately framed through the number data generated at short time intervals that further subdivide the time interval (1 second) of the 1PPS signal. Further, the position can be accurately associated with respect to the front, and the detected value of the physical quantity related to the image can be accurately associated with the non-front. Therefore, for example, the position (latitude / longitude) is displayed on the front image while simultaneously displaying the frame of the image taken in each direction including the front from the moving vehicle on the screen at the same time, and the non-forward image is displayed. It is also possible to display the detected values of physical quantities related to the screen together.

発明５〜８は、映像に関連する物理量を具体的に提示することかできる。
発明９は、発明１〜８の何れかに於いて、前記データ生成手段４１は、前記各細分時刻の時刻データとともに各時刻データに対応する位置データを生成することを特徴とする撮像システムであるため、１ＰＰＳ信号の時間間隔（１秒）を更に細分した短い時間間隔で生成される番号データを介して、各ビデオカメラの同一時刻の映像のフレームを正確に対応付けることができ、さらに、各映像に位置を正確に対応付けることができる。
発明１０は、発明９に於いて、前記データ生成手段４１は各細分時刻の時刻データに対応する位置データを生成する処理を各細分時刻の時刻データを生成する処理とは別途の後のタイミングで実行し、前記データ制御手段４２は各細分時刻の時刻データに対応する位置データを格納する処理を前記別途の後のタイミングで実行することを特徴とする撮像システムであるため、発明９の効果を享受しつつ、撮像を行う際の装置の処理負荷を低減することができる。 Inventions 5 to 8 can specifically present physical quantities related to images.
Invention 9 is an imaging system according to any one of Inventions 1 to 8, wherein the data generation means 41 generates position data corresponding to each time data together with the time data of each subdivision time. Therefore, it is possible to accurately associate the frames of the images of the same time of each video camera with the number data generated at short time intervals by further subdividing the time interval (1 second) of the 1PPS signal, and further, each image. The position can be accurately associated with.
According to the invention 10, in the invention 9, the data generation means 41 performs the process of generating the position data corresponding to the time data of each subdivision time at a later timing different from the process of generating the time data of each subdivision time. Since the data control means 42 is an imaging system that executes a process of storing position data corresponding to the time data of each subdivided time at a later timing, the effect of the invention 9 can be obtained. While enjoying it, it is possible to reduce the processing load of the device when performing imaging.

発明１１は、発明１〜１０の何れかに於いて、さらに、時刻データに対応付けて前記所定の記憶手段５１に格納されている番号データと、映像フレームに対応付けて前記ビデオカメラ２１，２２，，，２６に記録されている番号データとの照合に基づいて、当該ビデオカメラの各映像フレームに時刻データを対応付ける較正手段を有することを特徴とする撮像システムであるため、撮像時に於ける各ビデオカメラのスタート時刻のズレを吸収して、同期再生を確実に行わせることができる。 In the eleventh invention, in any one of the first to tenth inventions, the number data stored in the predetermined storage means 51 in association with the time data and the video cameras 21 and 22 in association with the video frame. Since it is an imaging system characterized by having a calibration means for associating time data with each video frame of the video camera based on collation with the number data recorded in ,,, 26, each image at the time of imaging It is possible to absorb the deviation of the start time of the video camera and ensure synchronous playback.

（ａ）は実施の形態の撮像システムを構成する各機器を車両に搭載して成る配置を示す模式図、（ｂ）は実施の形態の機器での信号の流れを示す説明図。(A) is a schematic diagram showing an arrangement in which each device constituting the imaging system of the embodiment is mounted on a vehicle, and (b) is an explanatory diagram showing a signal flow in the device of the embodiment. 実施の形態の撮像システムを構成する各機器の接続と信号の流れを示すブロック図。The block diagram which shows the connection and the signal flow of each device which comprises the image pickup system of an embodiment. 実施の形態の撮像システムの機能ブロック図。The functional block diagram of the imaging system of an embodiment. 実施の形態の撮像システムで生成されるデータを示し、（ａ）はＧＰＳ受信機１０ａ及びセンサ装置３０から入力される信号に基づいて制御装置（コンピュータ）４０で生成されるデータ、（ｂ）は各ビデオカメラ２１，２２，，，２６に記録される情報を管理するデータ、（ｃ）は（ａ）と（ｂ）に基づいて記憶装置５０に記録されるデータベース５１の構成を示す。The data generated by the imaging system of the embodiment is shown, (a) is the data generated by the control device (computer) 40 based on the signals input from the GPS receiver 10a and the sensor device 30, and (b) is the data. Data for managing information recorded in each of the video cameras 21, 22, 2, and 26, (c) shows the configuration of the database 51 recorded in the storage device 50 based on (a) and (b). 制御装置４０での処理手順の一例を示すフローチャート。The flowchart which shows an example of the processing procedure in a control device 40. 制御装置４０での処理手順の別の一例を示すフローチャート。The flowchart which shows another example of the processing procedure in a control device 40. 複数のビデオカメラの撮像開始時刻のズレを較正して制御装置４０の番号データを基準に較正する処理を説明するタイミングチャート。A timing chart for explaining a process of calibrating the deviation of the imaging start time of a plurality of video cameras and calibrating with reference to the number data of the control device 40.

図面を参照して、本発明の実施の形態を説明する。
図１（ａ）は実施の形態の撮像システムの機器を車載する様子を模式的に示す配置図であり、（ｂ）は（ａ）の機器間での信号の流れを示す説明図である。また、図２は各機器の接続と信号の流れを示すブロック図である。 Embodiments of the present invention will be described with reference to the drawings.
FIG. 1A is a layout diagram schematically showing a state in which the equipment of the imaging system of the embodiment is mounted on a vehicle, and FIG. 1B is an explanatory diagram showing a signal flow between the equipment of FIG. 1A. Further, FIG. 2 is a block diagram showing the connection of each device and the signal flow.

図示のように、それぞれ異なる方向を撮影するための６台のビデオカメラ（前方撮影用のビデオカメラ２１，右側方撮影用のビデオカメラ２２，左側方撮影用のビデオカメラ２３，後方撮影用のビデオカメラ２４，上方撮影用のビデオカメラ２５，下方撮影用のビデオカメラ２６）と、ＧＰＳ受信機１０ａと、コンピュータ装置４０ａと、複数のセンサ装置３０と、音声ミキサー６０とが自動車９０に搭載されて、撮像が行われる。なお、自動車９０に代えて、列車に搭載されてもよい。 As shown in the figure, six video cameras for shooting in different directions (video camera 21 for front shooting, video camera 22 for right side shooting, video camera 23 for left side shooting, video for rear shooting). A camera 24, a video camera 25 for upward shooting, a video camera 26) for downward shooting, a GPS receiver 10a, a computer device 40a, a plurality of sensor devices 30, and a voice mixer 60 are mounted on the automobile 90. , Imaging is performed. In addition, instead of the automobile 90, it may be mounted on a train.

ＧＰＳ受信機１０ａからは、４個のＧＰＳ衛星から受信される信号に基づいて生成される時刻データ（ＵＴＣ，協定世界時）、位置（緯度・経度）データ、１ＰＰＳ信号（１ｓｅｃ間隔の高精度のパルス）が、コンピュータ装置４０ａへ送られる。また、複数のセンサ装置（ビデオカメラから被写体までの距離を検出するべく当該のビデオカメラ近辺に設けられた距離センサ，走行に伴い路面状態に応じて生ずるロードノイズを検出するノイズセンサ，自動車の走行方向での傾斜角を検出する傾斜角センサ、自動車の走行速度を検出する速度センサ，等）３０の検出信号も、コンピュータ装置４０ａへ入力される。 Time data (UTC, Coordinated Universal Time), position (latitude / longitude) data, 1PPS signal (highly accurate at 1 sec intervals) generated from GPS receivers 10a based on signals received from four GPS satellites. The pulse) is sent to the computer device 40a. In addition, a plurality of sensor devices (distance sensor provided in the vicinity of the video camera to detect the distance from the video camera to the subject, a noise sensor for detecting road noise generated according to the road surface condition due to traveling, driving of an automobile). The detection signal of the tilt angle sensor for detecting the tilt angle in the direction, the speed sensor for detecting the traveling speed of the automobile, etc.) 30 is also input to the computer device 40a.

コンピュータ装置４０ａからは、１ＰＰＳ信号に基づいて１／１０秒間隔で生成されるシリアル番号データや、各種のセンサ信号に基づくセンサデータ、或いは、経度・緯度の位置データ等が、音声ミキサー６０を経て、各ビデオカメラ２１，２２，，，２６の音声トラックへ送られる。ここで、シリアル番号データはＬチャンネル（トラック）へ入力され、センサデータや位置データ等はＲチャンネル（トラック）へ入力される。なお、ＬとＲは逆に設定してもよい。 From the computer device 40a, serial number data generated at 1/10 second intervals based on 1PPS signals, sensor data based on various sensor signals, longitude / latitude position data, and the like are transmitted through the voice mixer 60. , Sent to the audio tracks of each video camera 21, 22, 2, 26. Here, the serial number data is input to the L channel (track), and the sensor data, position data, and the like are input to the R channel (track). L and R may be set in reverse.

コンピュータ装置４０ａは、また、各ビデオカメラ２１，２２，，，２６の音声トラックへの出力と併せて、上記シリアル番号データ、位置データ（経度・緯度）、日時刻データ、センサデータ等を、所定のメモリ（ログファイル）に保持し、今回の撮像が全て完了した後、外部の記憶装置（記録媒体）へ保存する。この外部の記録媒体に保存されたデータは、後日、適宜に読み出されて所定のデータベースに保存される。なお、機器の処理性能が許すのであれば、全ての処理を撮像時に完了させてよいことは勿論である。 The computer device 40a also predetermined the serial number data, position data (longitude / latitude), day / time data, sensor data, etc., together with the output to the audio tracks of each video camera 21, 22, 2, 26. It is retained in the memory (log file) of the above, and after all the imaging this time is completed, it is saved in an external storage device (recording medium). The data stored in this external recording medium is appropriately read out at a later date and stored in a predetermined database. Of course, if the processing performance of the device allows, all the processing may be completed at the time of imaging.

図３は、実施の形態の撮像システムの機能ブロック図である。
図１と図２では、実際の機器構成に即して、「ＧＰＳ受信機１０ａで生成された日時刻データ、位置（経度・緯度）データ、及び１ＰＰＳ信号が、コンピュータ装置４０ａへ入力される構成」が図解されているが、図３では、撮像システムを機能面から見た構成が図解されている。即ち、図３では、「日時刻データ、位置（経度・緯度）データ、１ＰＰＳ信号を生成する機能」は、ＧＰＳ受信機１０ａの機能ではなく、制御装置４０の機能として図解されている。 FIG. 3 is a functional block diagram of the imaging system of the embodiment.
In FIGS. 1 and 2, "the date / time data, the position (longitude / latitude) data, and the 1PPS signal generated by the GPS receiver 10a are input to the computer device 40a" according to the actual device configuration. Is illustrated, but in FIG. 3, the configuration of the imaging system as viewed from the functional aspect is illustrated. That is, in FIG. 3, the "function of generating day / time data, position (longitude / latitude) data, and 1PPS signal" is illustrated not as a function of the GPS receiver 10a but as a function of the control device 40.

図示の撮像システムは、ＧＰＳ信号を受信するＧＰＳ受信手段１０と、センサ装置３０と、６台のビデオカメラ（前方ビデオカメラ２１，５台の非前方ビデオカメラ（右側方ビデオカメラ２２，左側方ビデオカメラ２３，後方ビデオカメラ２４，上方ビデオカメラ２５，下方ビデオカメラ２６））と、記憶装置５０と、制御装置４０を有する。 The illustrated imaging system includes a GPS receiving means 10 for receiving GPS signals, a sensor device 30, and six video cameras (front video camera 21, 5 non-front video cameras (right side video camera 22, left side video). It has a camera 23, a rear video camera 24, an upper video camera 25, a lower video camera 26)), a storage device 50, and a control device 40.

制御装置４０は、ＧＰＳ受信手段１０とセンサ装置３０からの信号を入力して、所定の処理を実行し、該処理により生成されるデータ（シリアル番号データ，位置データ，日時刻データ，センサデータ）を６台のビデオカメラの音声トラックへ出力するとともに、メモリのログファイルに保持し、適宜のタイミング（リアルタイム又は撮像完了後の適宜のタイミング）で、記憶装置５０のデータベース５１のレコードに格納する。 The control device 40 inputs signals from the GPS receiving means 10 and the sensor device 30, executes a predetermined process, and data generated by the process (serial number data, position data, day / time data, sensor data). Is output to the audio tracks of the six video cameras, and is stored in a log file of the memory, and stored in the record of the database 51 of the storage device 50 at an appropriate timing (real time or an appropriate timing after the completion of imaging).

ここで、制御装置４０で実行される所定の処理とは、データ生成手段４１により実行されるデータ生成処理、データ制御手段４２により実行されるデータ制御処理、番号制御手段４３により実行される番号制御処理、及び、センサ制御手段４４により実行されるセンサ制御処理である。
以下、順に説明する。 Here, the predetermined processes executed by the control device 40 are the data generation process executed by the data generation means 41, the data control process executed by the data control means 42, and the number control executed by the number control means 43. The process and the sensor control process executed by the sensor control means 44.
Hereinafter, they will be described in order.

まず、データ生成手段４１は、ＧＰＳ信号に基づいて時刻データ及び経度・緯度の位置データを生成するとともに、時刻データに基づいて高精度の１ＰＰＳ信号を生成する。これらは、市販のＧＰＳ受信機１０ａが標準で持つ機能であるが、図３では、データ生成手段４１の処理として図解している。
データ生成手段４１は、また、隣接する１ＰＰＳ信号の間の時間（１ｓｅｃ）を１０等分して成る各時刻に於いて、言い換えれば、０．１秒間隔で、時刻データを生成する。なお、制御装置４０の機能が許容するのであれば、時刻データとともに位置データを０．１秒間隔で併せて生成してよいことは勿論である。 First, the data generation means 41 generates time data and longitude / latitude position data based on GPS signals, and also generates a highly accurate 1PPS signal based on the time data. These are the functions that the commercially available GPS receiver 10a has as standard, but in FIG. 3, they are illustrated as the processing of the data generation means 41.
The data generation means 41 also generates time data at each time (1 sec) between adjacent 1 PPS signals divided into 10 equal parts, in other words, at 0.1 second intervals. Of course, if the function of the control device 40 allows, the position data may be generated together with the time data at intervals of 0.1 seconds.

データ制御手段４２は、時刻データ及び経度・緯度の位置データを前記データ生成手段４１から渡されると、それらを対応付けて時刻順にメモリのログファイルに保持し、適宜のタイミング（リアルタイム又は撮像完了後の適宜のタイミング）で、記憶装置５０のデータベース５１のレコードに格納する。ここで、時刻データは、ＧＰＳ信号から直に生成される時刻データ（１秒間隔の時刻データ）、及び、該時刻データに基づく１ＰＰＳ信号間を１０等分して得る時刻データ（０．１秒間隔の時刻データ）である。また、位置データとしては、一義的にはＧＰＳ信号から直に生成される位置データ（１秒間隔の位置データ）であるが、制御装置４０が０．１秒間隔での位置データの生成能力を有するのであれば、該位置データを含めてよいことは勿論である。
また、データ制御手段４２は、番号制御手段４３（後述）から、時刻データ（０．１秒間隔の時刻データを含む）に対応付けられているシリアル番号データを渡されると、該シリアル番号データを、当該の時刻データに対応付けてログファイルに保持し、適宜のタイミング（リアルタイム又は撮像完了後の適宜のタイミング）で、記憶装置５０のデータベース５１のレコードに格納する。
また、データ制御手段４２は、センサ制御手段４４（後述）から、時刻データ（０．１秒間隔の時刻データを含んでもよく、含まなくてもよい）に対応付けられているセンサデータを渡されると、該センサデータを、当該の時刻データに対応付けてログファイルに保持し、適宜のタイミング（リアルタイム又は撮像完了後の適宜のタイミング）で、記憶装置５０のデータベース５１のレコードに格納する。 When the time data and the longitude / latitude position data are passed from the data generation means 41, the data control means 42 associates them and holds them in a log file of the memory in chronological order, and appropriately timings (real time or after the completion of imaging). It is stored in the record of the database 51 of the storage device 50 at an appropriate timing). Here, the time data includes time data (time data at 1-second intervals) directly generated from GPS signals and time data (0.1 seconds) obtained by dividing 1PPS signals based on the time data into 10 equal parts. Interval time data). Further, the position data is primarily position data (position data at 1-second intervals) directly generated from GPS signals, but the control device 40 has the ability to generate position data at 0.1-second intervals. Of course, if it has, the position data may be included.
Further, when the data control means 42 is passed the serial number data associated with the time data (including the time data at 0.1 second intervals) from the number control means 43 (described later), the serial number data is transmitted. , It is stored in a log file in association with the time data, and stored in a record of the database 51 of the storage device 50 at an appropriate timing (real time or an appropriate timing after the completion of imaging).
Further, the data control means 42 is passed from the sensor control means 44 (described later) the sensor data associated with the time data (which may or may not include the time data at intervals of 0.1 seconds). Then, the sensor data is stored in a log file in association with the time data, and stored in a record of the database 51 of the storage device 50 at an appropriate timing (real time or an appropriate timing after the completion of imaging).

番号制御手段４３は、前記データ生成手段４１により生成される時刻データに対応付けて、シリアル番号データを生成する。時刻データとは、ＧＰＳ信号から直に生成される時刻データ（１秒間隔の時刻データ）と、該時刻データに基づく１ＰＰＳ信号間を１０等分して得る時刻データ（０．１秒間隔の時刻データ）である。
また、番号制御手段４３は、上記の如く生成するシリアル番号データを、前記各ビデオカメラ２１，２２，，，２６のＬチャンネルの音声トラックへ出力する。これにより、シリアル番号データは、時刻に対応付けて、各ビデオカメラに記録される。
また、番号制御手段４３は、上記の如く生成するシリアル番号データを、前記データ制御手段４２に渡す。これにより、各シリアル番号データは、時刻に対応付けてログファイルに保持され、適宜のタイミング（リアルタイム又は撮像完了後の適宜のタイミング）で、記憶装置５０のデータベース５１のレコードに格納される。 The number control means 43 generates serial number data in association with the time data generated by the data generation means 41. The time data is time data (time data at 1-second intervals) directly generated from GPS signals and time data (time at 0.1-second intervals) obtained by dividing 1PPS signals based on the time data into 10 equal parts. Data).
Further, the number control means 43 outputs the serial number data generated as described above to the audio track of the L channel of each of the video cameras 21, 22, 2, and 26. As a result, the serial number data is recorded in each video camera in association with the time.
Further, the number control means 43 passes the serial number data generated as described above to the data control means 42. As a result, each serial number data is stored in the log file in association with the time, and is stored in the record of the database 51 of the storage device 50 at an appropriate timing (real time or an appropriate timing after the completion of imaging).

センサ制御手段４４は、各センサ装置３０から入力される検出データを、前記データ生成手段４１により生成される時刻データに対応付けて、非前方ビデオカメラ２２，，，２６のＲチャンネルの音声トラックへ出力する。これにより、各センサ装置３０の検出データは、時刻データに対応付けて、当該のビデオカメラに記録される。センサ装置３０の検出データをビデオカメラへ出力するタイミングは、一義的にはＧＰＳ信号から直に生成される時刻データ（１秒間隔の時刻データ）に同期されるが、制御装置４０が０．１秒間隔でのセンサ検出信号の処理能力を有するのであれば、０．１秒間隔としてよいことは勿論である。
また、センサ制御手段４４は、上記の如き処理で得られるセンサ装置３０の検出データを、前記データ制御手段４２に渡す。これにより、各検出データは、時刻に対応付けてログファイルに保持され、適宜のタイミング（リアルタイム又は撮像完了後の適宜のタイミング）で、記憶装置５０のデータベース５１のレコードに格納される。 The sensor control means 44 associates the detection data input from each sensor device 30 with the time data generated by the data generation means 41 to the audio tracks of the R channels of the non-forward video cameras 22, ,, and 26. Output. As a result, the detection data of each sensor device 30 is recorded in the video camera in association with the time data. The timing of outputting the detection data of the sensor device 30 to the video camera is primarily synchronized with the time data (time data at 1-second intervals) directly generated from the GPS signal, but the control device 40 is 0.1. Of course, if it has the ability to process the sensor detection signal at second intervals, it may be 0.1 second intervals.
Further, the sensor control means 44 passes the detection data of the sensor device 30 obtained by the above processing to the data control means 42. As a result, each detection data is stored in the log file in association with the time, and is stored in the record of the database 51 of the storage device 50 at an appropriate timing (real time or an appropriate timing after the completion of imaging).

図５は、コンピュータ装置４０ａでの処理手順を示すフローチャートである。この図５では、図１及び図２と同様に、実際の機器構成に即して、撮像システムでの処理を示している。即ち、「ＧＰＳ受信機１０ａで生成された日時刻データ、位置（経度・緯度）データ、１ＰＰＳ信号が、コンピュータ装置４０ａへ入力される構成」に即して、撮像システムの処理を説明している。以下、このフローチャートに即して説明する。 FIG. 5 is a flowchart showing a processing procedure in the computer device 40a. In FIG. 5, as in FIGS. 1 and 2, the processing in the imaging system is shown according to the actual equipment configuration. That is, the processing of the imaging system is described in accordance with "a configuration in which day / time data, position (longitude / latitude) data, and 1PPS signals generated by the GPS receiver 10a are input to the computer device 40a". .. Hereinafter, the description will be given according to this flowchart.

コンピュータ装置４０ａに於いて、撮像システムとしての機能（データ生成，データ制御，番号制御，センサ制御）を実現するプログラムが起動されると、ＧＰＳ受信機１０ａの状態がチェックされ（Ｓ０１）、必要なＧＰＳ衛星が固定（ＦＩＸ）されると（Ｓ０３でＹＥＳ）、シリアル番号データに初期値０がセットされる（Ｓ０５）。 When a program that realizes functions as an imaging system (data generation, data control, number control, sensor control) is started in the computer device 40a, the state of the GPS receiver 10a is checked (S01), which is necessary. When the GPS satellite is fixed (FIX) (YES in S03), the initial value 0 is set in the serial number data (S05).

次に、ＧＰＳ受信機１０ａからの、位置（緯度・経度）データ、日時刻データ、１ＰＰＳ信号が取得されて保持され、日時刻データ（ＵＴＣ；協定世界時）に９時間をプラスして日本標準時とする補正が行われる（Ｓ１１）。 Next, the position (latitude / longitude) data, day time data, and 1PPS signal from the GPS receiver 10a are acquired and held, and 9 hours are added to the day time data (UTC; Coordinated Universal Time) to set the Japanese standard time. (S11).

ステップＳ１３では、１ＰＰＳ信号を基準とする１／１０秒間隔で、シリアル番号データ（前回のシリアル番号データに「＋１」されたシリアル番号データ）が生成され、各ビデオカメラの音声トラック・Ｌチャンネルへ出力される。これにより、各ビデオカメラでは、アナログ音声信号に変換された当該のシリアル番号と時刻が、音声トラックのＬチャンネルに記録される。
ステップＳ１３の処理は、０．１秒間隔で、１０回繰り返される（Ｓ１５）。即ち、次の１ＰＰＳ信号まで、繰り返される。 In step S13, serial number data (serial number data "+1" to the previous serial number data) is generated at 1/10 second intervals based on the 1PPS signal, and is sent to the audio track / L channel of each video camera. It is output. As a result, in each video camera, the serial number and time converted into an analog audio signal are recorded in the L channel of the audio track.
The process of step S13 is repeated 10 times at 0.1 second intervals (S15). That is, it is repeated until the next 1PPS signal.

ステップＳ１３の処理が０．１秒間隔で１０回繰り返されると（Ｓ１５でＹＥＳ）、次に、ステップＳ２１へ進む。ステップＳ２１では、ＧＰＳ受信機１０ａから、緯度・経度の位置データと、現在の日時刻データとが取得され、前方ビデオカメラ２１の音声トラック・Ｒチャンネルへ出力される。これにより、前方ビデオカメラ２１では、アナログ音声信号に変換された位置（緯度・経度）と日時刻とが、音声トラックのＲチャンネルに記録される。 When the process of step S13 is repeated 10 times at 0.1 second intervals (YES in S15), the process proceeds to step S21. In step S21, the latitude / longitude position data and the current date / time data are acquired from the GPS receiver 10a and output to the audio track / R channel of the front video camera 21. As a result, in the front video camera 21, the position (latitude / longitude) converted into the analog audio signal and the day time are recorded in the R channel of the audio track.

また、ステップＳ２１では、各センサ装置３０からの検出データが取得されて、前方以外の方向を撮影する何れかの非前方ビデオカメラ２２，，，２６の音声トラック・Ｒチャンネルへ出力される。これにより、各非前方ビデオカメラでは、アナログ音声信号に変換されたセンサの検出データが、音声トラックのＲチャンネルに記録される。
ステップＳ２１の処理は、１秒間隔で繰り返される（Ｓ３１）。 Further, in step S21, the detection data from each sensor device 30 is acquired and output to the audio track / R channel of any of the non-forward video cameras 22 ,,, 26 that shoot in a direction other than the front. As a result, in each non-forward video camera, the detection data of the sensor converted into the analog audio signal is recorded in the R channel of the audio track.
The process of step S21 is repeated at 1 second intervals (S31).

センサ装置３０としては、ビデオカメラから被写体までの距離を検出するべく当該のビデオカメラ近辺に設けられる距離センサ、走行に伴い路面／線路の状態に応じて生ずるロードノイズを検出するノイズセンサ、自動車／列車の走行方向での傾斜角を検出する傾斜角センサ、自動車／列車の走行速度を検出する速度センサ等を例示することができる。
被写体までの距離を正確に測定することにより、道路や線路に関連する各種構造物（橋梁，標識，トンネル壁／天井，等）の状態について、当該構造物が含まれる映像から、正確な知見を得ることができる。
ロードノイズを測定することにより、或るパターンのノイズが検出される位置の路面／線路の状態について、正確な知見を得ることができる。
走行方向での傾斜角を測定することにより、各位置の路面／線路の傾斜について、正確な知見を得ることかできる。
走行速度を測定することにより、例えば、１ＰＰＳ信号間の各時刻（０．１秒間隔の各時刻）での自動車／列車の位置（緯度・経度）を、より正確に知ることができる。 The sensor device 30 includes a distance sensor provided in the vicinity of the video camera to detect the distance from the video camera to the subject, a noise sensor for detecting road noise generated according to the road surface / track condition during traveling, an automobile / An inclination angle sensor that detects an inclination angle in the traveling direction of a train, a speed sensor that detects an automobile / train traveling speed, and the like can be exemplified.
By accurately measuring the distance to the subject, accurate knowledge can be obtained from the images including the structures regarding the state of various structures (bridges, signs, tunnel walls / ceilings, etc.) related to roads and railroad tracks. Obtainable.
By measuring the road noise, it is possible to obtain accurate knowledge about the state of the road surface / line at the position where a certain pattern of noise is detected.
By measuring the inclination angle in the traveling direction, it is possible to obtain accurate knowledge about the inclination of the road surface / track at each position.
By measuring the traveling speed, for example, the position (latitude / longitude) of the automobile / train at each time between 1PPS signals (each time at intervals of 0.1 seconds) can be known more accurately.

ステップＳ２１からは、ステップＳ２３へ進む。ステップＳ２３では、ステップＳ１３でビデオカメラへ出力したシリアル番号データ、ステップＳ２１でビデオカメラへ出力した時刻データ及び位置（緯度・経度）データ、及び、ステップＳ２１でビデオカメラへ出力したセンサの検出データが、メモリのログファイルに書き込まれる。 From step S21, the process proceeds to step S23. In step S23, the serial number data output to the video camera in step S13, the time data and position (latitude / longitude) data output to the video camera in step S21, and the sensor detection data output to the video camera in step S21 are obtained. , Written to the memory log file.

コンピュータ装置４０ａに於いて、撮像システムとしての機能（データ生成，データ制御，番号制御，センサ制御）を終了する操作入力が検出されると（Ｓ３１でＹＥＳ）、メモリのログファイルのデータが、外部記憶装置（記録媒体）に記録した（Ｓ３３）後、処理が終了される。 When the operation input for terminating the function as the imaging system (data generation, data control, number control, sensor control) is detected in the computer device 40a (YES in S31), the data in the log file in the memory is external. After recording on the storage device (recording medium) (S33), the process is terminated.

図６は、コンピュータ装置４０ａでの図５とは異なる処理手順を示すフローチャートである。この図６も、図５と同様に、実際の機器構成に即して、撮像システムでの処理を示している。図６の処理が図５と異なる点は、センサ装置３０の検出データを非前方ビデオカメラの音声トラック・Ｒチャンネルへ出力する処理を、１秒間隔ではなく、０．１秒間隔で行っている点である（Ｓ１４Ａ）。他の点は図５と同様なため、説明は割愛する。
図６はセンサ装置３０の検出データを０．１秒間隔で処理するようにした構成例であるが、各機器の性能が許容するのであれば、時刻・位置データについても、同様に、１秒間隔ではなく、０．１秒間隔で処理するように構成してもよい。 FIG. 6 is a flowchart showing a processing procedure different from that of FIG. 5 in the computer device 40a. Similar to FIG. 5, FIG. 6 also shows processing in the imaging system according to the actual equipment configuration. The process of FIG. 6 differs from that of FIG. 5 in that the process of outputting the detection data of the sensor device 30 to the audio track / R channel of the non-forward video camera is performed at 0.1 second intervals instead of 1 second intervals. It is a point (S14A). Since the other points are the same as those in FIG. 5, the explanation is omitted.
FIG. 6 shows a configuration example in which the detection data of the sensor device 30 is processed at 0.1 second intervals. However, if the performance of each device allows, the time / position data is also 1 second. It may be configured to process at 0.1 second intervals instead of intervals.

図７は、実施の形態の撮像システムにより各ビデオカメラに記録されたデータと、同時にコンピュータ装置４０ａのログファイルに記録されたデータとの間の時間的なズレを較正して、各ビデオカメラの映像を同期再生可能とするための処理を説明するタイミングチャートである。 FIG. 7 shows that the time lag between the data recorded in each video camera by the imaging system of the embodiment and the data recorded in the log file of the computer device 40a at the same time is calibrated, and the time difference between the data is calibrated. It is a timing chart explaining the process for enabling synchronous reproduction of video.

実施の形態の撮像システムは、前述のように、自動車に搭載される複数台の機器から成り、各機器のオン／オフのための操作入力は、人が行う。このため、６台のビデオカメラ２１，２２，，，２６のオン／オフのタイミングも、当然ながら、若干ズレる。また、コンピュータ装置４０ａが起動状態となるタイミングや、ＧＰＳ受信機１０ａが、必要なＧＰＳ衛星を固定（ＦＩＸ）するタイミングも、それぞれ別々となる。 As described above, the imaging system of the embodiment is composed of a plurality of devices mounted on the automobile, and the operation input for turning on / off each device is performed by a person. Therefore, the on / off timings of the six video cameras 21, 22, 2, and 26 are, of course, slightly different. Further, the timing at which the computer device 40a is activated and the timing at which the GPS receiver 10a fixes the necessary GPS satellites (FIX) are also different.

このため、（１）或るビデオカメラの録画が開始された時点では、未だ、コンピュータ装置４０ａによるシリアル番号の発行が行われていない場合や、逆に、（２）コンピュータ装置４０ａがシリアル番号を発行して各ビデオカメラの音声トラックへ出力を開始しているにも係わらず、或るビデオカメラの録画が開始されていない場合も生ずる。 Therefore, (1) when the recording of a certain video camera is started, the serial number is not yet issued by the computer device 40a, or conversely, (2) the computer device 40a issues the serial number. There may be cases where recording by a certain video camera has not started even though it has been issued and output to the audio track of each video camera has started.

上記（１）の場合には、図７内の「前方ビデオカメラ２１」に示すように、シリアル番号「１」が各ビデオカメラの音声トラックに記録される以前の時点で録画が開始されているため、シリアル番号「１」に対応する映像のフレーム番号は「１２」となっている。このため、「前方ビデオカメラ２１」については、フレーム番号を「１１」減じて、シリアル番号「１」にフレーム番号「１」を対応付ける処理が必要となる。 In the case of (1) above, as shown in the "forward video camera 21" in FIG. 7, recording is started before the serial number "1" is recorded in the audio track of each video camera. Therefore, the frame number of the video corresponding to the serial number "1" is "12". Therefore, for the "forward video camera 21", it is necessary to subtract the frame number by "11" and associate the serial number "1" with the frame number "1".

上記（２）の場合には、図７内の「右側方ビデオカメラ２２」に示すように、シリアル番号「１」が各ビデオカメラの音声トラックに記録されるべき時点では、未だ録画が開始されていないため、シリアル番号「１」に対応する映像のフレーム番号は無く、シリアル番号「３」に至って漸くフレーム番号が「１」となる。このため、「右側方ビデオカメラ２２」については、フレーム番号を加算して、シリアル番号にフレーム番号を対応付ける処理が必要となる。 In the case of (2) above, as shown in the "right side video camera 22" in FIG. 7, recording is still started when the serial number "1" should be recorded in the audio track of each video camera. Therefore, there is no frame number of the video corresponding to the serial number "1", and the frame number becomes "1" until the serial number "3" is reached. Therefore, for the "right side video camera 22", it is necessary to add the frame numbers and associate the frame numbers with the serial numbers.

前述のように、シリアル番号は０．１秒間隔で発行・記録される。これに対して、フレーム番号は、３０［ｆｐｓ］の映像の場合、０．１秒間では「３フレーム」がカウントされる。したがって、シリアル番号「３」でフレーム番号「１」となる例では、録画開始以前にシリアル番号２個分が経過していたことになる。これを較正するためには、フレーム番号を「６」加算する処理が必要となる。 As mentioned above, the serial number is issued and recorded at 0.1 second intervals. On the other hand, in the case of a video of 30 [fps], "3 frames" are counted as the frame number in 0.1 seconds. Therefore, in the example where the serial number "3" is the frame number "1", it means that two serial numbers have passed before the start of recording. In order to calibrate this, a process of adding "6" to the frame number is required.

かかる較正処理により、シリアル番号を介して、各映像を同期させたデータベース（図４（ｃ）参照）が構築されるため、各ビデオカメラ映像の同期再生が可能となる。
また、各シリアル番号のレコードでは、映像のファイル名及びフレーム番号に対応付けて、撮像の日時刻、位置（緯度・経度）、センサの検出データが記録されるため、所望の日時刻、且つ、所望の位置（緯度・経度）の、各撮影方向（前，右，左，後，上，下）の静止画を呼び出して表示することができる。さらに、動画や所望の静止画に、センサの検出値を表示等させることもできる。 By such a calibration process, a database (see FIG. 4C) in which each video is synchronized is constructed via the serial number, so that the video of each video camera can be played back in synchronization.
Further, in the record of each serial number, the date and time of imaging, the position (latitude / longitude), and the detection data of the sensor are recorded in association with the file name and frame number of the video, so that the desired date and time and It is possible to recall and display a still image at a desired position (latitude / longitude) in each shooting direction (front, right, left, rear, top, bottom). Further, the detection value of the sensor can be displayed on a moving image or a desired still image.

なお、本実施の形態では、上述の較正処理を、図５や図６のステップＳ３３で記録媒体に記録したログデータ（図４（ａ）参照）と、各ビデオカメラ２１，２２，，，２６の記録データ（図４（ｂ）参照）とを編集して、データベース（図４の（ｃ）参照）を構築する際に行っているが、別途のタイミングで行ってもよい。
例えば、機器の能力が高い場合は、撮像中に処理を行ってもよい。 In the present embodiment, the log data (see FIG. 4 (a)) in which the above-mentioned calibration process is recorded on the recording medium in step S33 of FIGS. 5 and 6 and each video camera 21, 22, 2, 26 This is done when the database (see FIG. 4C) is constructed by editing the recorded data (see FIG. 4B), but it may be done at a different timing.
For example, if the capacity of the device is high, processing may be performed during imaging.

１０ＧＰＳ受信手段
１０ａＧＰＳ受信機
２１ビデオカメラ（前方ビデオカメラ）
２２ビデオカメラ（右側方ビデオカメラ）
２３ビデオカメラ（左側方ビデオカメラ）
２４ビデオカメラ（後方ビデオカメラ）
２５ビデオカメラ（上方ビデオカメラ）
２６ビデオカメラ（下方ビデオカメラ）
３０センサ装置
４０制御装置
４０ａコンピュータ（制御装置４０からＧＰＳ受信機１０ａの機能を除いた部分）
４１データ生成
４２データ制御
４３番号制御
４４センサ制御
５０記憶装置
５１データベース
６０音声信号変換
９０自動車 10 GPS receiving means 10a GPS receiver 21 Video camera (forward video camera)
22 Video camera (right side video camera)
23 Video camera (left side video camera)
24 video camera (rear video camera)
25 video camera (upper video camera)
26 Video camera (lower video camera)
30 Sensor device 40 Control device 40a Computer (the part of the control device 40 excluding the function of the GPS receiver 10a)
41 Data generation 42 Data control 43 Number control 44 Sensor control 50 Storage device 51 Database 60 Voice signal conversion 90 Automobile

Claims

It is an imaging system that has a receiving means for receiving GPS signals and enables synchronous reproduction of each image taken by two or more video cameras mounted on a moving vehicle.
Data generation that generates time data and position data based on GPS signals received by the receiving means, and also generates time data of each subdivided time formed by subdividing each 1PPS signal based on the time data at equal intervals. Means and
A data control means for storing time data and position data generated by the data generation means in a record of a predetermined storage means, and
Number data in chronological order corresponding to the time data generated by the data generation means is generated, and the number data is output to each video camera and recorded in the audio track of each video camera, and the data A number control means that is passed to the control means and stored in the time data record corresponding to the number data,
An imaging system characterized by having.

It is an imaging system that has a receiving means for receiving GPS signals and enables synchronous reproduction of each image taken by two or more video cameras mounted on a moving vehicle.
Data generation that generates time data and position data based on GPS signals received by the receiving means, and also generates time data of each subdivided time formed by subdividing each 1PPS signal based on the time data at equal intervals. Means and
A data control means for storing time data and position data generated by the data generation means in a record of a predetermined storage means, and
The number data in chronological order corresponding to the time data generated by the data generation means is generated, and the number data is output to each of the video cameras and recorded in the first audio track of each video camera. , The number control means to be passed to the data control means and stored in the time data record corresponding to the number data, and
One or two or more sensor devices that detect physical quantities related to images captured by any one or more of the video cameras.
A sensor control means that outputs the detection signal of the sensor device to a video camera that captures an image related to the detection signal and records it on a second audio track.
An imaging system characterized by having.

It has a receiving means for receiving GPS signals, and is mounted on a moving vehicle to enable synchronous playback of each image of a front video camera that shoots the front and one or more non-front video cameras that shoot the non-front. It ’s an imaging system,
Data generation that generates time data and position data based on GPS signals received by the receiving means, and also generates time data of each subdivided time formed by subdividing each 1PPS signal based on the time data at equal intervals. Means and
A data control means for storing time data and position data generated by the data generation means in a record of a predetermined storage means, and
The number data in chronological order corresponding to the time data generated by the data generation means is generated, and the number data is output to each of the video cameras and recorded in the first audio track of each video camera. , The number control means to be passed to the data control means and stored in the time data record corresponding to the number data, and
One or more sensor devices that detect physical quantities related to images captured by one or more of the front and non-front video cameras.
A sensor control means that outputs the detection signal of the sensor device to the non-forward video camera that captures an image related to the detection signal and records it on a second audio track.
An imaging system characterized by having.

In claim 3,
The data control means outputs the position data generated by the data generation means to the front video camera and records it on the second voice track.
An imaging system characterized by this.

In any of claims 2 to 4,
One of the physical quantities is the distance from the video camera to the subject.
An imaging system characterized by this.

In any of claims 2 to 4,
One of the physical quantities is road noise generated according to the condition of the road surface.
An imaging system characterized by this.

In any of claims 2 to 4,
One of the physical quantities is the inclination angle of the vehicle.
An imaging system characterized by this.

In any of claims 2 to 4,
One of the physical quantities is the traveling speed of the vehicle.
An imaging system characterized by this.

In any of claims 1 to 8,
The data generation means generates position data corresponding to each time data together with the time data of each subdivision time.
An imaging system characterized by this.

In claim 9,
The data generation means executes the process of generating the position data corresponding to the time data of each subdivision time at a later timing separate from the process of generating the time data of each subdivision time.
The data control means executes a process of storing position data corresponding to the time data of each subdivided time at a later timing.
An imaging system characterized by this.

In any of claims 1 to 10, further
Each video frame of the video camera is based on collation between the number data stored in the predetermined storage means in association with the time data and the number data recorded in the video camera in association with the video frame. Has a calibration means that associates time data with
An imaging system characterized by this.