JP2012165337A

JP2012165337A - Imaging system, imaging method and imaging program

Info

Publication number: JP2012165337A
Application number: JP2011026269A
Authority: JP
Inventors: Daisuke Oaki; 大輔大秋
Original assignee: Aisin AW Co Ltd
Current assignee: Aisin AW Co Ltd
Priority date: 2011-02-09
Filing date: 2011-02-09
Publication date: 2012-08-30

Abstract

PROBLEM TO BE SOLVED: To provide an imaging system that automatically determines whether or not an imaging terminal has been installed in a position capable of imaging the outside world of a vehicle at an angle capable of imaging in a predetermined direction.SOLUTION: An imaging system 1 includes: an imaging position identification section 24b for identifying the position of imaging by an imaging terminal 20 removably installed in a vehicle 2; an installation determination section 24d for instructing the imaging terminal 20 to perform imaging more than once, and determining whether or not the imaging terminal 20 has been installed in a position capable of imaging the outside world of the vehicle 2 on the basis of differences between a plurality of images captured; and an image information transmission section 24c for transmitting image information associating together an image captured by the imaging terminal 20 and the imaging position of the image identified by the imaging position identification section 24b when the installation determination section 24d determines that the imaging terminal 20 has been installed in a position capable of imaging the outside world of the vehicle 2.

Description

本発明は、撮影システム、撮影方法、及び撮影プログラムに関する。 The present invention relates to a photographing system, a photographing method, and a photographing program.

従来、道路の渋滞状況等を遠隔地の人に伝えるために、車両に搭載されたカメラにより当該車両の周囲を撮影し、当該撮影した画像を、無線通信機を介して画像サーバに送信する、画像アップロード装置が提案されている。（例えば、特許文献１参照）。 Conventionally, in order to convey road traffic conditions etc. to a remote person, the surroundings of the vehicle are photographed by a camera mounted on the vehicle, and the photographed image is transmitted to an image server via a wireless communication device. An image upload device has been proposed. (For example, refer to Patent Document 1).

特開２００３−３１７１９３号公報JP 2003-317193 A

ところで、近年では、カメラ付き携帯電話等の撮影機能付携帯型情報端末が用いられるようになってきている。そこで、上述の如き従来の装置において、車両に撮影機能付携帯型情報端末を設置し、当該端末により撮影された画像を、無線通信機を介して画像サーバに送信することも考えられる。 By the way, in recent years, portable information terminals with a photographing function such as camera-equipped cellular phones have been used. Therefore, in the conventional apparatus as described above, a portable information terminal with a photographing function may be installed in a vehicle, and an image photographed by the terminal may be transmitted to an image server via a wireless communication device.

しかしながら、利用者により撮影機能付携帯型情報端末が車内に設置される場合、必ずしも適切な位置に、適切な方向に向けて端末が設置されるとは限らなかった。例えば車両の進行方向前方を撮影する必要があるにも関わらず、車両の進行方向側方や後方に向けて端末が設置されたり、あるいは、車両の外界を撮影不可能な位置（例えばカメラの前方にダッシュボード等の障害物が存在する位置）に端末が設置される可能性があった。このような場合、必要な画像を当該端末によって撮影できない可能性があった。また、従来の装置では、必要な画像が撮影できてるか否かに関わらず、撮影された全ての画像情報を端末から画像サーバに送信するため、必要な画像を撮影できていない場合（例えば車両の進行方向側方や後方を撮影してしまった場合や、ダッシュボードを撮影してしまった場合等）、無用な画像情報の送信のために通信コストを浪費してしまう可能性があった。 However, when a portable information terminal with a photographing function is installed in a vehicle by a user, the terminal is not always installed at an appropriate position and in an appropriate direction. For example, although it is necessary to photograph the front of the vehicle in the traveling direction, a terminal is installed toward the side of the vehicle in the traveling direction or toward the rear, or the outside of the vehicle cannot be photographed (for example, in front of the camera). There is a possibility that the terminal will be installed at the location where obstacles such as dashboards exist. In such a case, there is a possibility that a necessary image cannot be taken by the terminal. In addition, in the conventional apparatus, since all image information that has been captured is transmitted from the terminal to the image server regardless of whether or not the necessary image can be captured, the necessary image cannot be captured (for example, the vehicle In the case of shooting the side or the back of the direction of travel, or shooting the dashboard), there is a possibility of wasting communication costs for transmitting unnecessary image information.

本発明は、上記に鑑みてなされたものであって、所定の方向を撮影可能な角度で、車両の外界を撮影可能な位置に撮影端末が設置されたか否かを自動的に判断することができ、無用な画像情報の送信のために通信コストを浪費してしまうことを防止できる、撮影システム、撮影方法、及び撮影プログラムを提供することを目的とする。 The present invention has been made in view of the above, and can automatically determine whether an imaging terminal is installed at a position where an image of the outside of the vehicle can be captured at an angle at which a predetermined direction can be captured. An object of the present invention is to provide an imaging system, an imaging method, and an imaging program that can prevent communication costs from being wasted due to unnecessary transmission of image information.

上述した課題を解決し、目的を達成するために、請求項１に記載の撮影システムは、車両に着脱自在に設置される撮影端末による画像の撮影位置を特定する撮影位置特定手段と、前記撮影端末に複数回の撮影を行わせ、当該撮影された複数の画像間の差異に基づき、当該撮影端末が前記車両の外界を撮影可能な位置に設置されたか否かを判定する設置判定手段と、前記設置判定手段により、前記撮影端末が前記車両の外界を撮影可能な位置に設置されたと判定された場合、当該撮影端末により撮影された画像と前記撮影位置特定手段により特定された当該画像の撮影位置とを相互に関連付けた画像情報を送信する画像情報送信手段と、を備える。 In order to solve the above-described problems and achieve the object, the imaging system according to claim 1 includes an imaging position specifying unit that specifies an imaging position of an image by an imaging terminal that is detachably installed in a vehicle, and the imaging Installation determination means for causing the terminal to perform a plurality of shootings, and determining whether or not the shooting terminal is set at a position where the outside of the vehicle can be shot based on a difference between the shot images; When it is determined by the installation determining means that the imaging terminal is installed at a position where the outside of the vehicle can be imaged, the image captured by the imaging terminal and the image specified by the imaging position specifying means are captured. Image information transmitting means for transmitting image information in which positions are associated with each other.

また、請求項２に記載の撮影システムは、請求項１に記載の撮影システムにおいて、前記車両が走行中か否かを判定する走行判定手段を備え、前記設置判定手段は、前記走行判定手段により前記車両が走行中と判定された場合に、前記撮影端末に複数回の撮影を行わせ、当該撮影された複数の画像間の差異に基づき、当該撮影端末が当該車両の外界を撮影可能な位置に設置されたか否かを判定する。 According to a second aspect of the present invention, there is provided the photographing system according to the first aspect, further comprising traveling determination means for determining whether or not the vehicle is traveling, wherein the installation determining means includes the traveling determination means. When it is determined that the vehicle is traveling, a position at which the photographing terminal can photograph a plurality of times, and the photographing terminal can photograph the outside of the vehicle based on a difference between the photographed images. It is determined whether or not it has been installed.

また、請求項３に記載の撮影システムは、請求項１又は２に記載の撮影システムにおいて、前記設置判定手段は、所定の時間間隔で前記撮影端末に撮影を行わせ、当該撮影端末により当該所定の時間間隔で連続して撮影された２つの画像について、各画像を構成する画素毎に階調値の差分を算出し、全画素について算出した当該階調値の差分の総和が閾値以上である場合に、当該撮影端末が前記車両の外界を撮影可能な位置に設置されたと判定する。 According to a third aspect of the present invention, in the photographing system according to the first or second aspect, the installation determining unit causes the photographing terminal to perform photographing at a predetermined time interval, and the photographing terminal performs the predetermined processing. For two images taken continuously at a time interval of, the difference in gradation value is calculated for each pixel constituting each image, and the sum of the differences between the gradation values calculated for all pixels is greater than or equal to the threshold value. In this case, it is determined that the photographing terminal is installed at a position where the outside of the vehicle can be photographed.

また、請求項４に記載の撮影システムは、請求項３に記載の撮影システムにおいて、設置判定手段は、前記撮影端末により前記所定の時間間隔で連続して撮影された２つの画像の各組み合わせについて、各画像を構成する画素毎に階調値の差分を算出し、全画素について算出した当該階調値の差分の総和が閾値以上である当該２つの画像の組み合わせの数が所定数以上である場合に、当該撮影端末が前記車両の外界を撮影可能な位置に設置されたと判定する。 According to a fourth aspect of the present invention, there is provided the photographing system according to the third aspect, wherein the installation determining unit is configured to combine each of two images photographed continuously at the predetermined time interval by the photographing terminal. The difference of the gradation value is calculated for each pixel constituting each image, and the total number of the differences of the gradation values calculated for all the pixels is equal to or greater than the threshold, and the number of combinations of the two images is equal to or greater than the predetermined number. In this case, it is determined that the photographing terminal is installed at a position where the outside of the vehicle can be photographed.

また、請求項５に記載の撮影方法は、車両に着脱自在に設置される撮影端末による画像の撮影位置を特定する撮影位置特定ステップと、前記撮影端末に複数回の撮影を行わせ、当該撮影された複数の画像間の差異に基づき、当該撮影端末が前記車両の外界を撮影可能な位置に設置されたか否かを判定する設置判定ステップと、前記設置判定ステップで、前記撮影端末が前記車両の外界を撮影可能な位置に設置されたと判定された場合、当該撮影端末により撮影された画像と前記撮影位置特定ステップで特定された当該画像の撮影位置とを相互に関連付けた画像情報を送信する画像情報送信ステップと、を含む。 According to a fifth aspect of the present invention, there is provided a photographing method for identifying a photographing position of an image by a photographing terminal that is detachably installed in a vehicle, and causing the photographing terminal to perform photographing a plurality of times. In the installation determination step for determining whether or not the imaging terminal is installed at a position where the outside world of the vehicle can be imaged based on the difference between the plurality of images obtained, and in the installation determination step, the imaging terminal is the vehicle When it is determined that the external environment is installed at a position where the image can be captured, image information that associates the image captured by the imaging terminal with the imaging position of the image specified in the imaging position specifying step is transmitted. An image information transmission step.

また、請求項６に記載の撮影プログラムは、請求項５に記載の方法をコンピュータに実行させる。 A shooting program according to a sixth aspect causes a computer to execute the method according to the fifth aspect.

請求項１に記載の撮影システム、請求項５に記載の撮影方法、及び請求項６に記載の撮影プログラムによれば、設置判定手段は、撮影端末に複数回の撮影を行わせ、当該撮影された複数の画像間の差異に基づき、撮影端末が車両の外界を撮影可能な位置に設置されたか否かを判定するので、撮影端末の撮影対象の動きの有無を利用して、撮影端末が車両の外界を撮影可能な位置に設置されたか否かを容易且つ確実に判定することができる。また、撮影端末が車両の外界を撮影可能な位置に設置されたと設置判定手段により判定された場合に、画像情報送信手段が、撮影端末により撮影された画像と撮影位置特定手段により特定された当該画像の撮影位置とを相互に関連付けた画像情報を送信するので、車両の外界を撮影した画像を確実に送信することができ、無用な画像情報の送信のために通信コストを浪費してしまうことを防止できる。 According to the imaging system according to claim 1, the imaging method according to claim 5, and the imaging program according to claim 6, the installation determination unit causes the imaging terminal to perform imaging for a plurality of times. Based on the difference between the plurality of images, it is determined whether or not the photographing terminal is installed at a position where the outside of the vehicle can be photographed. It is possible to easily and reliably determine whether or not the outside world is installed at a position where it can be photographed. Further, when it is determined by the installation determining means that the photographing terminal is installed at a position where the outside of the vehicle can be photographed, the image information transmitting means is identified by the image photographed by the photographing terminal and the photographing position specifying means. Since the image information that correlates the shooting position of the image with each other is transmitted, it is possible to reliably transmit an image that captures the outside world of the vehicle, and waste communication costs for transmitting unnecessary image information. Can be prevented.

また、請求項２に記載の撮影システムによれば、設置判定手段は、走行判定手段により車両が走行中と判定された場合に、撮影端末に複数回の撮影を行わせるので、車両の走行に伴う撮影端末の撮影対象の動きの有無を利用して、撮影端末が車両の外界を撮影可能な位置に設置されたか否かを一層容易且つ確実に判定することができる。 According to the photographing system of the second aspect, the installation determining means causes the photographing terminal to perform photographing a plurality of times when the traveling determining means determines that the vehicle is traveling. By using the presence or absence of the movement of the shooting target of the shooting terminal, it can be more easily and reliably determined whether or not the shooting terminal is installed at a position where the outside of the vehicle can be shot.

また、請求項３に記載の撮影システムによれば、設置判定手段は、撮影端末により所定の時間間隔で連続して撮影された２つの画像について、各画像を構成する画素毎に階調値の差分を算出し、全画素について算出した当該階調値の差分の総和が閾値以上である場合に、撮影端末が車両の外界を撮影可能な位置に設置されたと判定するので、撮影端末の撮影対象の動きの有無を確実に判定することができ、撮影端末が車両の外界を撮影可能な位置に設置されたか否かを一層確実に判定することができる。 According to the imaging system of the third aspect, the installation determination unit may determine a gradation value for each pixel constituting each image of two images continuously captured at a predetermined time interval by the imaging terminal. When the difference is calculated and the sum of the differences of the gradation values calculated for all pixels is equal to or greater than the threshold, it is determined that the shooting terminal is installed at a position where the outside of the vehicle can be shot. It is possible to reliably determine whether or not there is any movement, and it is possible to more reliably determine whether or not the photographing terminal is installed at a position where the outside of the vehicle can be photographed.

また、請求項４に記載の撮影システムによれば、設置判定手段は、撮影端末により所定の時間間隔で連続して撮影された２つの画像の各組み合わせについて、各画像を構成する画素毎に階調値の差分を算出し、全画素について算出した当該階調値の差分の総和が閾値以上である当該２つの画像の組み合わせの数が所定数以上である場合に、撮影端末が車両の外界を撮影可能な位置に設置されたと判定するので、撮影端末の撮影対象の動きの有無を一層確実に判定することができ、撮影端末が車両の外界を撮影可能な位置に設置されたか否かを一層確実に判定することができる。 Further, according to the imaging system of claim 4, the installation determining means determines the level for each pixel constituting each image for each combination of two images continuously captured at a predetermined time interval by the imaging terminal. When the difference between the tone values is calculated and the number of combinations of the two images in which the sum of the differences between the gradation values calculated for all pixels is equal to or greater than a threshold value is equal to or greater than a predetermined number, the imaging terminal Since it is determined that the camera is installed at a position where the photographing can be performed, it is possible to more reliably determine whether the photographing terminal is moving, and whether the photographing terminal is installed at a position where the outside of the vehicle can be photographed is further determined. It can be determined with certainty.

実施の形態に係る撮影システムを例示するブロック図である。1 is a block diagram illustrating a photographing system according to an embodiment. 車両に設置された撮影端末を例示した図である。It is the figure which illustrated the imaging terminal installed in the vehicle. 設置判定処理のフローチャートである。It is a flowchart of an installation determination process. 撮影処理のフローチャートである。It is a flowchart of an imaging process.

以下、本発明に係る撮影システム、撮影方法、及び撮影プログラムの実施の形態について図面を参照しつつ詳細に説明する。ただし、この実施の形態によって本発明が限定されるものではない。 Hereinafter, embodiments of a photographing system, a photographing method, and a photographing program according to the present invention will be described in detail with reference to the drawings. However, the present invention is not limited by this embodiment.

（構成）
最初に、実施の形態に係る撮影システムの構成について説明する。図１は、本実施の形態に係る撮影システムを例示するブロック図である。図１に示すように、撮影システム１は、車載装置１０、及び撮影端末２０を備えている。 (Constitution)
First, the configuration of the imaging system according to the embodiment will be described. FIG. 1 is a block diagram illustrating a photographing system according to this embodiment. As shown in FIG. 1, the photographing system 1 includes an in-vehicle device 10 and a photographing terminal 20.

（構成−車載装置）
車載装置１０は、通信部１１、現在位置検出処理部１２、制御部１３、及びデータ記録部１４を備えている。 (Configuration-In-vehicle device)
The in-vehicle device 10 includes a communication unit 11, a current position detection processing unit 12, a control unit 13, and a data recording unit 14.

（構成−車載装置−通信部）
通信部１１は、無線又は有線で撮影端末２０と通信を行う通信手段であり、公知の通信装置を用いることができる。 (Configuration-In-vehicle device-Communication unit)
The communication unit 11 is a communication unit that communicates with the photographing terminal 20 wirelessly or by wire, and a known communication device can be used.

（構成−車載装置−現在位置検出処理部）
現在位置検出処理部１２は、車載装置１０が搭載された車両２の現在位置を検出する現在位置検出手段である。具体的には、現在位置検出処理部１２は、ＧＰＳ、地磁気センサ、距離センサ、又はジャイロセンサ（いずれも図示省略）の少なくとも一つを有し、現在の車両２の位置（座標）及び方位等を公知の方法にて検出する。 (Configuration-On-vehicle device-Current position detection processing unit)
The current position detection processing unit 12 is a current position detection unit that detects the current position of the vehicle 2 on which the in-vehicle device 10 is mounted. Specifically, the current position detection processing unit 12 includes at least one of a GPS, a geomagnetic sensor, a distance sensor, and a gyro sensor (all of which are not shown), and the current position (coordinates), direction, and the like of the vehicle 2 Is detected by a known method.

（構成−車載装置−制御部）
制御部１３は、車載装置１０を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである（後述する撮影端末２０の制御部２４についても同じ）。特に、本実施の形態に係る撮影プログラムは、任意の記録媒体又はネットワークを介して車載装置１０にインストールされることで、制御部１３の各部を実質的に構成する。 (Configuration-In-vehicle device-Control unit)
The control unit 13 is a control unit that controls the in-vehicle device 10, and specifically, a CPU, various programs that are interpreted and executed on the CPU (a basic control program such as an OS, a specific function that is activated on the OS, and the like) And an internal memory such as a RAM for storing the program and various data (the same applies to the control unit 24 of the photographing terminal 20 described later). In particular, the imaging program according to the present embodiment is substantially installed in the in-vehicle device 10 via an arbitrary recording medium or network, thereby substantially configuring each unit of the control unit 13.

この制御部１３は、機能概念的に、現在位置特定部１３ａ、及び車両方向特定部１３ｂを備えている。現在位置特定部１３ａは、現在位置検出処理部１２からの出力に基づき車両２の現在位置を特定する現在位置特定手段である。車両方向特定部１３ｂは、車両２の進行方向を特定する車両方向特定手段である。これらの制御部１３の各部によって実行される処理の詳細については後述する。 The control unit 13 includes a current position specifying unit 13a and a vehicle direction specifying unit 13b in terms of functional concept. The current position specifying unit 13 a is a current position specifying unit that specifies the current position of the vehicle 2 based on the output from the current position detection processing unit 12. The vehicle direction specifying unit 13 b is a vehicle direction specifying unit that specifies the traveling direction of the vehicle 2. Details of processing executed by each unit of the control unit 13 will be described later.

（構成−車載装置−データ記録部）
データ記録部１４は、車載装置１０の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記憶装置としてのハードディスク（図示省略）の如き磁気的記録媒体を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、フラッシュメモリの如き半導体型記憶媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる（後述する撮影端末２０のデータ記録部２５についても同じ）。 (Configuration-On-vehicle device-Data recording unit)
The data recording unit 14 is a recording unit that records a program and various data necessary for the operation of the in-vehicle device 10, and is configured using a magnetic recording medium such as a hard disk (not shown) as an external storage device, for example. ing. However, any other recording medium including a semiconductor storage medium such as a flash memory or an optical recording medium such as a DVD or a Blu-ray disc can be used instead of or together with the hard disk (the photographing terminal 20 described later). The same applies to the data recording section 25).

（構成−撮影端末）
撮影端末２０は、設置用のブラケット等を介して車両２に着脱自在に設置される。図２は、車両２に設置された撮影端末２０を例示した図である。図２に示すように、撮影端末２０は、例えばブラケット等（図示省略）を介してダッシュボード上に設置される。この撮影端末２０としては、例えばスマートフォンやカメラ付き携帯電話等の撮影機能付携帯型情報端末を用いることができる。図１に戻り、この撮影端末２０は、通信部２１、カメラ２２、方向センサ２３、制御部２４、及びデータ記録部２５を備えている。 (Configuration-shooting terminal)
The photographing terminal 20 is detachably installed on the vehicle 2 via an installation bracket or the like. FIG. 2 is a diagram illustrating the photographing terminal 20 installed in the vehicle 2. As shown in FIG. 2, the photographing terminal 20 is installed on the dashboard via a bracket or the like (not shown), for example. As the photographing terminal 20, for example, a portable information terminal with a photographing function such as a smartphone or a mobile phone with a camera can be used. Returning to FIG. 1, the photographing terminal 20 includes a communication unit 21, a camera 22, a direction sensor 23, a control unit 24, and a data recording unit 25.

（構成−撮影端末−通信部）
通信部２１は、無線又は有線で車載装置１０と通信を行うと共に、インターネットや電話網等のネットワークを介してサーバ（いずれも図示省略）と通信を行う通信手段であり、公知の通信装置を用いることができる。 (Configuration-Shooting terminal-Communication unit)
The communication unit 21 is a communication unit that communicates with the in-vehicle device 10 wirelessly or by wire and also communicates with a server (all not shown) via a network such as the Internet or a telephone network, and uses a known communication device. be able to.

（構成−撮影端末−カメラ）
カメラ２２は、画像を撮影する撮影手段である。カメラ２２が撮影した画像データは、制御部２４に入力される。なお、カメラ２２の具体的な構成は任意で、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の公知の撮像素子、及びレンズやプリズム等の公知の光学系部品を用いて構成されている。 (Configuration-Shooting terminal-Camera)
The camera 22 is a photographing means for photographing an image. Image data captured by the camera 22 is input to the control unit 24. The specific configuration of the camera 22 is arbitrary, and is configured using a known imaging device such as a CMOS image sensor or a CCD image sensor, and a known optical system component such as a lens or a prism.

（構成−撮影端末−方向センサ）
方向センサ２３は、撮影端末２０に固定された所定の方向（例えばカメラ２２の光軸の方向）を検出する方向検出手段である。この方向センサ２３としては、例えば地磁気センサ（電子コンパス）や加速度センサ等の公知の方位センサを用いることができる。 (Configuration-Shooting terminal-Direction sensor)
The direction sensor 23 is a direction detection unit that detects a predetermined direction (for example, the direction of the optical axis of the camera 22) fixed to the photographing terminal 20. As this direction sensor 23, well-known direction sensors, such as a geomagnetic sensor (electronic compass) and an acceleration sensor, can be used, for example.

（構成−撮影端末−制御部）
制御部２４は、撮影端末２０を制御する制御手段であり、機能概念的に、撮影方向特定部２４ａ、撮影位置特定部２４ｂ、画像情報送信部２４ｃ、設置判定部２４ｄ、及び走行判定部２４ｅを備えている。撮影方向特定部２４ａは、方向センサ２３からの出力に基づきカメラ２２の撮影方向を特定する撮影方向特定手段である。撮影位置特定部２４ｂは、カメラ２２による画像の撮影位置を特定する撮影位置特定手段である。画像情報送信部２４ｃは、カメラ２２により撮影された画像と撮影位置特定部２４ｂにより特定された当該画像の撮影位置とを相互に関連付けた画像情報を、通信部２１を介してサーバに送信する画像情報送信手段である。設置判定部２４ｄは、所定の方向を撮影可能な角度で、車両２の外界を撮影可能な位置に、撮影端末２０が設置されたか否かを判定する設置判定手段である。以下では、設置判定部２４ｄが、車両２の進行方向を撮影可能な角度で撮影端末２０が設置されたか否かを判定する場合を例として説明する。走行判定部２４ｅは、車両２が走行中か否かを判定する走行判定手段である。これらの制御部２４の各部によって実行される処理の詳細については後述する。 (Configuration-Shooting terminal-Control unit)
The control unit 24 is a control unit that controls the photographing terminal 20, and functionally conceptually includes a photographing direction specifying unit 24a, a photographing position specifying unit 24b, an image information transmitting unit 24c, an installation determining unit 24d, and a traveling determining unit 24e. I have. The shooting direction specifying unit 24 a is a shooting direction specifying unit that specifies the shooting direction of the camera 22 based on the output from the direction sensor 23. The shooting position specifying unit 24 b is a shooting position specifying unit that specifies the shooting position of an image taken by the camera 22. The image information transmitting unit 24c transmits image information that associates the image captured by the camera 22 and the image capturing position of the image specified by the image capturing position specifying unit 24b to the server via the communication unit 21. Information transmission means. The installation determination unit 24d is an installation determination unit that determines whether or not the photographing terminal 20 is installed at a position where the outside of the vehicle 2 can be photographed at an angle at which a predetermined direction can be photographed. Below, the case where the installation determination part 24d determines whether the imaging | photography terminal 20 was installed with the angle which can image | photograph the advancing direction of the vehicle 2 is demonstrated as an example. The travel determination unit 24e is travel determination means that determines whether or not the vehicle 2 is traveling. Details of processing executed by each unit of these control units 24 will be described later.

（構成−撮影端末−データ記録部）
データ記録部２５は、撮影端末２０の動作に必要なプログラム及び各種のデータを記録する記録手段である。 (Configuration-Shooting terminal-Data recording unit)
The data recording unit 25 is a recording unit that records a program and various data necessary for the operation of the photographing terminal 20.

（処理）
次に、このように構成された撮影システム１によって実行される処理について説明する。撮影システム１によって実行される処理は、設置判定処理と撮影処理とに大別される。 (processing)
Next, processing executed by the imaging system 1 configured as described above will be described. The processing executed by the imaging system 1 is roughly divided into installation determination processing and imaging processing.

（処理−設置判定処理）
まず、設置判定処理について説明する。設置判定処理は、所定の方向を撮影可能な角度で、車両２の外界を撮影可能な位置に、撮影端末２０が車両２に設置されたか否かを判定するための処理である。図３は設置判定処理のフローチャートである（以下の各処理の説明ではステップを「Ｓ」と略記する）。この設置判定処理は、例えば車載装置１０及び撮影端末２０に電源が投入され、車載装置１０と撮影端末２０との間で通信が確立された場合に、撮影端末２０及び車載装置１０において起動される。 (Processing-Installation judgment processing)
First, the installation determination process will be described. The installation determination process is a process for determining whether or not the photographing terminal 20 is installed in the vehicle 2 at a position where the outside of the vehicle 2 can be photographed at an angle at which a predetermined direction can be photographed. FIG. 3 is a flowchart of the installation determination process (in the following description of each process, step is abbreviated as “S”). This installation determination process is started in the photographing terminal 20 and the in-vehicle device 10 when the in-vehicle device 10 and the photographing terminal 20 are powered on and communication is established between the in-vehicle device 10 and the photographing terminal 20, for example. .

図３に示すように、設置判定処理が起動されると、撮影端末２０の設置判定部２４ｄは撮影可能フラグをＯＦＦにする（ＳＡ１）。ここで「撮影可能フラグ」とは、所定の方向を撮影可能な角度で撮影端末２０が車両２に設置されたか否かを示すフラグであり、例えば撮影端末２０のＲＡＭ（図示省略）に記憶される。 As shown in FIG. 3, when the installation determination process is activated, the installation determination unit 24d of the imaging terminal 20 turns off the imaging enable flag (SA1). Here, the “photographable flag” is a flag indicating whether or not the photographing terminal 20 is installed in the vehicle 2 at an angle capable of photographing a predetermined direction, and is stored in, for example, a RAM (not shown) of the photographing terminal 20. The

続いて設置判定部２４ｄは、車両２の進行方向（以下、必要に応じて「車両方向」）を特定する情報を要求する信号を、通信部２１を介して車載装置１０に送信する（ＳＡ２）。 Subsequently, the installation determination unit 24d transmits a signal requesting information specifying the traveling direction of the vehicle 2 (hereinafter, “vehicle direction” as necessary) to the in-vehicle device 10 via the communication unit 21 (SA2). .

車載装置１０の通信部１１が、車両方向を特定する情報の送信要求信号を撮影端末２０から受信すると、車両方向特定部１３ｂは、車両２の進行方向を特定する（ＳＡ３）。例えば、車両方向特定部１３ｂは、現在位置検出処理部１２が有する地磁気センサからの出力に基づき、車両２の進行方向を特定する。この「車両２の進行方向」は、例えば、所定の方向（例えば水平面内における真北方向）を基準とする単位ベクトルとして表される。あるいは、北を基準とする方位角と、水平面を基準とする仰角との組み合わせとして表すようにしてもよい。 When the communication unit 11 of the in-vehicle device 10 receives a transmission request signal for information specifying the vehicle direction from the imaging terminal 20, the vehicle direction specifying unit 13b specifies the traveling direction of the vehicle 2 (SA3). For example, the vehicle direction specifying unit 13b specifies the traveling direction of the vehicle 2 based on an output from a geomagnetic sensor included in the current position detection processing unit 12. The “traveling direction of the vehicle 2” is expressed as a unit vector based on a predetermined direction (for example, a true north direction in a horizontal plane), for example. Alternatively, it may be expressed as a combination of an azimuth angle based on the north and an elevation angle based on the horizontal plane.

続いて車両方向特定部１３ｂは、ＳＡ３で特定した車両方向を特定する情報を、通信部１１を介して撮影端末２０に送信する（ＳＡ４）。その後、車載装置１０の制御部１３は設置判定処理を終了する。 Subsequently, the vehicle direction specifying unit 13b transmits information specifying the vehicle direction specified in SA3 to the photographing terminal 20 via the communication unit 11 (SA4). Then, the control part 13 of the vehicle equipment 10 complete | finishes an installation determination process.

撮影端末２０の通信部２１が、車両方向を特定する情報を車載装置１０から受信すると、撮影方向特定部２４ａは、方向センサ２３からの出力に基づきカメラ２２の撮影方向を特定する（ＳＡ５）。「カメラ２２の撮影方向」とは、カメラ２２のレンズの光軸に沿ってカメラ２２の内部から外部に向かう方向であり、車両方向と同様に、所定の方向を基準とする単位ベクトルや、北を基準とする方位角と水平面を基準とする仰角との組み合わせとして表される。 When the communication unit 21 of the imaging terminal 20 receives information for specifying the vehicle direction from the in-vehicle device 10, the imaging direction specifying unit 24a specifies the imaging direction of the camera 22 based on the output from the direction sensor 23 (SA5). The “shooting direction of the camera 22” is a direction from the inside of the camera 22 to the outside along the optical axis of the lens of the camera 22, and, like the vehicle direction, a unit vector based on a predetermined direction, It is expressed as a combination of an azimuth angle with respect to the angle and an elevation angle with respect to the horizontal plane.

続いて設置判定部２４ｄは、ＳＡ４で車載装置１０から受信した情報により特定される車両方向と、ＳＡ５で撮影方向特定部２４ａにより特定された撮影方向との差分が、閾値以下か否かを判定する（ＳＡ６）。例えば設置判定部２４ｄは、水平面内における真北方向を基準として、車両方向を示す単位ベクトルと撮影方向を示す単位ベクトルとの内積を算出し、当該算出した内積に基づき、車両方向と撮影方向とが成す角度を算出する。そして、当該算出した角度が閾値以下の場合に、車両方向と撮影方向との差分が閾値以下であると判定する。 Subsequently, the installation determination unit 24d determines whether or not the difference between the vehicle direction specified by the information received from the in-vehicle device 10 at SA4 and the shooting direction specified by the shooting direction specification unit 24a at SA5 is equal to or less than a threshold value. (SA6). For example, the installation determination unit 24d calculates an inner product of a unit vector indicating the vehicle direction and a unit vector indicating the shooting direction with reference to the true north direction in the horizontal plane, and based on the calculated inner product, the vehicle direction and the shooting direction are calculated. The angle formed by is calculated. When the calculated angle is equal to or smaller than the threshold, it is determined that the difference between the vehicle direction and the shooting direction is equal to or smaller than the threshold.

ＳＡ６の結果、車両方向と撮影方向との差分が閾値以下ではない場合（閾値より大きい場合）（ＳＡ６、Ｎｏ）、設置判定部２４ｄは、所定の方向（ここでは車両２の進行方向）を撮影可能な角度で撮影端末２０が設置されていないと判定し、ＳＡ１に戻る。以降、ＳＡ６で車両方向と撮影方向との差分が閾値以下である（ＳＡ６、Ｙｅｓ）と判定されるまで、撮影システム１はＳＡ１からＳＡ６までの処理を繰り返す。 As a result of SA6, when the difference between the vehicle direction and the shooting direction is not less than or equal to the threshold value (when greater than the threshold value) (SA6, No), the installation determination unit 24d captures a predetermined direction (here, the traveling direction of the vehicle 2). It is determined that the photographing terminal 20 is not installed at a possible angle, and the process returns to SA1. Thereafter, the imaging system 1 repeats the processing from SA1 to SA6 until it is determined in SA6 that the difference between the vehicle direction and the imaging direction is equal to or less than the threshold (SA6, Yes).

一方、ＳＡ６の結果、車両方向と撮影方向との差分が閾値以下である場合（ＳＡ６、Ｙｅｓ）、走行判定部２４ｅは、車両２が走行中か否かを判定する（ＳＡ７）。例えば走行判定部２４ｅは、車両２に搭載された車速センサ（図示省略）の出力値を車載装置１０の通信部１１を介して取得し、当該出力値に基づき特定された車速が所定値（例えば５ｋｍ／ｈ）以上である場合に、車両２が走行中であると判定する。 On the other hand, if the difference between the vehicle direction and the shooting direction is equal to or less than the threshold value as a result of SA6 (SA6, Yes), the traveling determination unit 24e determines whether the vehicle 2 is traveling (SA7). For example, the travel determination unit 24e acquires an output value of a vehicle speed sensor (not shown) mounted on the vehicle 2 via the communication unit 11 of the in-vehicle device 10, and the vehicle speed specified based on the output value is a predetermined value (for example, When it is 5 km / h) or more, it is determined that the vehicle 2 is traveling.

その結果、車両２が走行中ではない場合（車両２が停止中である場合）（ＳＡ７、Ｎｏ）、撮影端末２０が車両２の外界を撮影可能な位置に設置されたか否かを判定できないものとし、設置判定部２４ｄはＳＡ１に戻る。以降、ＳＡ７で車両２が走行中である（ＳＡ７、Ｙｅｓ）と判定されるまで、撮影システム１はＳＡ１からＳＡ７までの処理を繰り返す。 As a result, when the vehicle 2 is not running (when the vehicle 2 is stopped) (SA7, No), it cannot be determined whether or not the photographing terminal 20 is installed at a position where the outside of the vehicle 2 can be photographed. Then, the installation determination unit 24d returns to SA1. Thereafter, the imaging system 1 repeats the processing from SA1 to SA7 until it is determined in SA7 that the vehicle 2 is traveling (SA7, Yes).

一方、ＳＡ７の結果、車両２が走行中である場合（ＳＡ７、Ｙｅｓ）、設置判定部２４ｄは、所定の時間間隔（例えば２秒間隔）でカメラ２２に複数回（例えば２回）の撮影を行わせる（ＳＡ８）。 On the other hand, as a result of SA7, when the vehicle 2 is traveling (SA7, Yes), the installation determination unit 24d captures the camera 22 a plurality of times (for example, twice) at a predetermined time interval (for example, every 2 seconds). (SA8).

続いて、設置判定部２４ｄは、ＳＡ８でカメラ２２により所定の時間間隔で連続して撮影された２つの画像について、各画像を構成する画素毎に階調値の差分を算出し、全画素について算出した当該階調値の差分の総和を算出する（ＳＡ９）。例えば、ＳＡ８でカメラ２２により撮影された画像における座標（Ｘ，Ｙ）の画素の階調値が１２８であり、その２秒後に当該カメラ２２により連続して撮影された画像における当該座標（Ｘ，Ｙ）の画素の階調値が１５６である場合、設置判定部２４ｄは、座標（Ｘ，Ｙ）の画素における階調値の差分の絶対値を１５６−１２８＝２８と算出する。同様に、設置判定部２４ｄは、ＳＡ８でカメラ２２により撮影された画像における各画素について階調値の差分の絶対値を算出し、全画素について算出した階調値の差分の絶対値の総和を算出する。この際、設置判定部２４ｄは、算出した各画像を構成する画素毎の階調値の差分の総和をＲＡＭに記憶させる。 Subsequently, the installation determination unit 24d calculates a difference in gradation value for each pixel constituting each image for the two images continuously captured at a predetermined time interval by the camera 22 in SA8, and for all the pixels. The total sum of the calculated gradation value differences is calculated (SA9). For example, the gradation value of the pixel of the coordinates (X, Y) in the image captured by the camera 22 at SA8 is 128, and the coordinates (X, Y) in the image continuously captured by the camera 22 two seconds later. When the gradation value of the pixel Y) is 156, the installation determination unit 24d calculates the absolute value of the difference between the gradation values of the pixel having the coordinates (X, Y) as 156-128 = 28. Similarly, the installation determination unit 24d calculates the absolute value of the difference between the gradation values for each pixel in the image captured by the camera 22 at SA8, and calculates the sum of the absolute values of the differences between the gradation values calculated for all the pixels. calculate. At this time, the installation determination unit 24d causes the RAM to store the total sum of the differences in the gradation values for each pixel constituting each calculated image.

次に設置判定部２４ｄは、ＳＡ８でカメラ２２により所定の時間間隔で連続して撮影された２つの各画像を構成する画素毎の階調値の差分の総和をＳＡ９で当該設置判定部２４ｄが算出した回数を示す算出回数Ｎを、１回分加算する（ＳＡ１０）。この「算出回数Ｎ」は、例えばＲＡＭに記憶されているものとする。 Next, the installation determining unit 24d determines in SA9 the sum of the differences between the gradation values of the pixels constituting each of the two images continuously captured at predetermined time intervals by the camera 22 in SA8. The calculated number N indicating the calculated number is added by one (SA10). This “calculation count N” is assumed to be stored in the RAM, for example.

続いて設置判定部２４ｄは、ＲＡＭに記憶されている算出回数Ｎが一定回数（例えば５回）に到達したか否かを判定する（ＳＡ１１）。その結果、ＲＡＭに記憶されている算出回数Ｎが一定回数に到達していない場合（算出回数Ｎが一定回数未満である場合）（ＳＡ１１、Ｎｏ）、撮影端末２０が車両２の外界を撮影可能な位置に設置されたか否かを判定するタイミングではないものとし、設置判定部２４ｄはＳＡ８に戻る。以降、ＳＡ１１で算出回数Ｎが一定回数に到達した（ＳＡ１１、Ｙｅｓ）と判定されるまで、設置判定部２４ｄはＳＡ８からＳＡ１１の処理を繰り返す。 Subsequently, the installation determination unit 24d determines whether or not the calculation number N stored in the RAM has reached a certain number (for example, five times) (SA11). As a result, when the calculated number N stored in the RAM does not reach a certain number (when the calculated number N is less than the certain number) (SA11, No), the photographing terminal 20 can photograph the external environment of the vehicle 2. The installation determination unit 24d returns to SA8, assuming that it is not the timing for determining whether or not it has been installed at a certain position. Thereafter, the installation determination unit 24d repeats the processing from SA8 to SA11 until it is determined in SA11 that the calculated number N has reached a certain number (SA11, Yes).

一方、ＳＡ１１の結果、算出回数Ｎが一定回数に到達した場合（ＳＡ１１、Ｙｅｓ）、設置判定部２４ｄはＲＡＭに記憶されている算出回数Ｎを０にリセットする（ＳＡ１２）。 On the other hand, as a result of SA11, when the calculation number N reaches a certain number (SA11, Yes), the installation determination unit 24d resets the calculation number N stored in the RAM to 0 (SA12).

続いて設置判定部２４ｄは、ＳＡ８でカメラ２２により所定の時間間隔で連続して撮影された２つの画像の各組み合わせについて、ＳＡ９において当該設置判定部２４ｄにより算出された各画像を構成する画素毎の階調値の差分の総和が閾値（例えば１０００）以上である当該２つの画像の組み合わせの数（すなわち、ＳＡ８で撮影された各画像を構成する画素毎の階調値の差分の総和をＳＡ９で設置判定部２４ｄが算出した一定回数の内、当該各画像を構成する画素毎の階調値の差分の総和が閾値以上であった回数）が、所定数以上（例えば３回）であるか否かを判定する（ＳＡ１３）。例えば設置判定部２４ｄは、ＳＡ９で各画像を構成する画素毎の階調値の差分の総和を算出する度にＲＡＭに記憶させた各算出値を閾値と比較し、当該各画像を構成する画素毎の階調値の差分の総和が閾値以上であった回数を特定し、当該特定した回数が所定数以上か否かを判定する。 Subsequently, the installation determination unit 24d determines, for each combination of two images continuously captured at a predetermined time interval by the camera 22 in SA8, for each pixel constituting each image calculated by the installation determination unit 24d in SA9. The number of combinations of the two images in which the sum of the differences in the tone values is equal to or greater than a threshold value (for example, 1000) (that is, the sum of the difference in the tone values for each pixel constituting each image captured in SA8 is SA9. In the fixed number of times calculated by the installation determining unit 24d, whether the total sum of the gradation value differences for each pixel constituting each image is equal to or greater than a threshold value is equal to or greater than a predetermined number (for example, three times). It is determined whether or not (SA13). For example, the installation determining unit 24d compares each calculated value stored in the RAM with a threshold value every time the total sum of gradation value differences for each pixel constituting each image is calculated in SA9, and the pixels constituting each image. The number of times that the sum of the differences between the gradation values is greater than or equal to the threshold value is identified, and it is determined whether or not the identified number is equal to or greater than a predetermined number.

その結果、ＳＡ８でカメラ２２により所定の時間間隔で連続して撮影された２つの画像の各組み合わせについて、ＳＡ９において当該設置判定部２４ｄにより算出された各画像を構成する画素毎の階調値の差分の総和が閾値以上である当該２つの画像の組み合わせの数が、所定数以上ではない場合（すなわち、ＳＡ８で撮影された各画像を構成する画素毎の階調値の差分の総和をＳＡ９で設置判定部２４ｄが算出した一定回数の内、当該各画像を構成する画素毎の階調値の差分の総和が閾値以上であった回数が、所定数以上ではない場合）（ＳＡ１３、Ｎｏ）、設置判定部２４ｄは、カメラ２２の撮影対象の動きが乏しいことから、カメラ２２の前方にダッシュボード等の障害物が存在する可能性が高く、撮影端末２０が車両２の外界を撮影可能な位置に設置されていないものと判定し、ＳＡ１に戻る。以降、ＳＡ１３で、ＳＡ８でカメラ２２により所定の時間間隔で連続して撮影された２つの画像の各組み合わせについて、ＳＡ９において当該設置判定部２４ｄにより算出された各画像を構成する画素毎の階調値の差分の総和が、閾値以上である当該２つの画像の組み合わせの数が所定数以上である（ＳＡ１３、Ｙｅｓ）と判定されるまで、撮影システム１はＳＡ１からＳＡ１３の処理を繰り返す。 As a result, for each combination of two images continuously captured at a predetermined time interval by the camera 22 in SA8, the gradation value of each pixel constituting each image calculated by the installation determination unit 24d in SA9. When the number of combinations of the two images whose sum of differences is equal to or greater than the threshold is not equal to or greater than a predetermined number (that is, the sum of differences in gradation values for each pixel constituting each image captured in SA8 is SA9. Among the fixed number of times calculated by the installation determining unit 24d, the number of times that the sum of the gradation value differences for each pixel constituting each image is not less than the predetermined number) (SA13, No), The installation determination unit 24d is likely to have an obstacle such as a dashboard in front of the camera 22 because the movement of the shooting target of the camera 22 is poor, and the shooting terminal 20 takes a picture of the outside of the vehicle 2. Determined not to have been installed in capacity position, it returns to SA1. Thereafter, in SA13, for each combination of two images continuously captured at predetermined time intervals by the camera 22 in SA8, the gradation for each pixel constituting each image calculated by the installation determination unit 24d in SA9 The imaging system 1 repeats the processing from SA1 to SA13 until it is determined that the number of combinations of the two images whose total value difference is equal to or greater than the threshold is greater than or equal to a predetermined number (SA13, Yes).

一方、ＳＡ８でカメラ２２により所定の時間間隔で連続して撮影された２つの画像の各組み合わせについて、ＳＡ９において当該設置判定部２４ｄにより算出された各画像を構成する画素毎の階調値の差分の総和が閾値以上である当該２つの画像の組み合わせの数が、所定数以上である場合（すなわち、ＳＡ８で撮影された各画像を構成する画素毎の階調値の差分の総和をＳＡ９で設置判定部２４ｄが算出した一定回数の内、当該各画像を構成する画素毎の階調値の差分の総和が閾値以上であった回数が、所定数以上である場合）（ＳＡ１３、Ｙｅｓ）、設置判定部２４ｄは、カメラ２２の撮影対象の動きがあることから、カメラ２２の前方に障害物が存在する可能性は低く、撮影端末２０が、所定の方向（ここでは車両２の進行方向）を撮影可能な角度で、車両２の外界を撮影可能な位置に設置されているものと判定し、撮影可能フラグをＯＮにする（ＳＡ１４）。その後、撮影端末２０の制御部２４は設置判定処理を終了する。 On the other hand, for each combination of two images continuously captured at a predetermined time interval by the camera 22 in SA8, the difference in gradation value for each pixel constituting each image calculated by the installation determination unit 24d in SA9. When the number of combinations of the two images whose sum total is equal to or greater than the threshold is equal to or greater than a predetermined number (that is, the sum of the differences between the gradation values for each pixel constituting each image captured in SA8 is set in SA9. Among the fixed number of times calculated by the determination unit 24d, the number of times that the sum of the differences between the gradation values for each pixel constituting each image is equal to or greater than a predetermined value) (SA13, Yes), installation The determination unit 24d is unlikely to have an obstacle in front of the camera 22 because there is a movement of the shooting target of the camera 22, and the shooting terminal 20 moves in a predetermined direction (here, the traveling direction of the vehicle 2). Shoot In possible angles, it determines that are installed outside of the vehicle 2 to a photographable position, turns ON the photographing flag (SA14). Thereafter, the control unit 24 of the photographing terminal 20 ends the installation determination process.

（処理−撮影処理）
次に、撮影処理について説明する。撮影処理は、カメラ２２により車両２の外界を撮影し、当該撮影した画像と当該画像の撮影位置とを相互に関連付けた画像情報をサーバに送信するための処理である。図４は、撮影処理のフローチャートである。この撮影処理は、車載装置１０及び撮影端末２０に電源が投入され、車載装置１０と撮影端末２０との間で通信が確立された場合に、撮影端末２０及び車載装置１０において起動される。 (Processing-Shooting process)
Next, the photographing process will be described. The photographing process is a process for photographing the outside of the vehicle 2 with the camera 22 and transmitting image information in which the photographed image and the photographing position of the image are associated with each other to the server. FIG. 4 is a flowchart of the photographing process. This imaging process is started in the imaging terminal 20 and the in-vehicle device 10 when the in-vehicle device 10 and the imaging terminal 20 are powered on and communication is established between the in-vehicle device 10 and the imaging terminal 20.

図４に示すように、撮影処理が起動されると、画像情報送信部２４ｃは撮影端末２０のＲＡＭを参照し、撮影可能フラグがＯＮか否かを判定する（ＳＢ１）。その結果、撮影可能フラグがＯＮではない場合（ＯＦＦである場合）（ＳＢ１、Ｎｏ）、所定の方向（ここでは車両２の進行方向）を撮影可能な角度で、車両２の外界を撮影可能な位置に撮影端末２０が設置されておらず、カメラ２２により適切な画像を撮影することができないものとし、画像情報送信部２４ｃは撮影可能フラグがＯＮとなるまでＳＢ１の判定を繰り返す。 As shown in FIG. 4, when the photographing process is activated, the image information transmitting unit 24c refers to the RAM of the photographing terminal 20 and determines whether or not the photographing enable flag is ON (SB1). As a result, when the shootable flag is not ON (when it is OFF) (SB1, No), the outside of the vehicle 2 can be photographed at an angle at which a predetermined direction (here, the traveling direction of the vehicle 2) can be photographed. It is assumed that the photographing terminal 20 is not installed at the position and an appropriate image cannot be photographed by the camera 22, and the image information transmission unit 24c repeats the determination of SB1 until the photographing flag is turned on.

一方、撮影可能フラグがＯＮである場合（ＳＢ１、Ｙｅｓ）、画像情報送信部２４ｃは、撮影タイミングが到来したか否かを判定する（ＳＢ２）。撮影タイミングが到来したか否かの判定基準は任意で、例えば、通信部２１を介して車載装置１０やサーバから撮影リクエストを受信した場合に、画像情報送信部２４ｃは撮影タイミングが到来したと判定する。 On the other hand, when the photographing enable flag is ON (SB1, Yes), the image information transmission unit 24c determines whether or not the photographing timing has come (SB2). The criterion for determining whether or not the shooting timing has arrived is arbitrary. For example, when a shooting request is received from the in-vehicle device 10 or the server via the communication unit 21, the image information transmission unit 24c determines that the shooting timing has arrived. To do.

その結果、撮影タイミングが到来していない場合（ＳＢ２、Ｎｏ）、画像情報送信部２４ｃはＳＢ１に戻り、撮影タイミングが到来する（ＳＢ２、Ｙｅｓ）までＳＢ１及びＳＢ２の処理を繰り返す。 As a result, when the shooting timing has not arrived (SB2, No), the image information transmission unit 24c returns to SB1, and repeats the processes of SB1 and SB2 until the shooting timing arrives (SB2, Yes).

一方、撮影タイミングが到来した場合（ＳＢ２、Ｙｅｓ）、画像情報送信部２４ｃはカメラ２２により撮影を行わせる（ＳＢ３）。この場合、車両２の外界における所定の方向（ここでは車両２の進行方向）の画像がカメラ２２により撮影される。 On the other hand, when the shooting timing has come (SB2, Yes), the image information transmission unit 24c causes the camera 22 to perform shooting (SB3). In this case, an image in a predetermined direction (here, the traveling direction of the vehicle 2) in the outside of the vehicle 2 is taken by the camera 22.

続いて撮影位置特定部２４ｂは、車両２の現在位置を特定する情報を要求する信号を、通信部２１を介して車載装置１０に送信する（ＳＢ４）。 Subsequently, the imaging position specifying unit 24b transmits a signal requesting information for specifying the current position of the vehicle 2 to the in-vehicle device 10 via the communication unit 21 (SB4).

車載装置１０の通信部１１が、車両２の現在位置を特定する情報の送信要求信号を撮影端末２０から受信すると、現在位置特定部１３ａは、現在位置検出処理部１２からの出力に基づき車両２の現在位置を特定する（ＳＢ５）。 When the communication unit 11 of the in-vehicle device 10 receives a transmission request signal for information specifying the current position of the vehicle 2 from the imaging terminal 20, the current position specifying unit 13 a is based on the output from the current position detection processing unit 12. Is identified (SB5).

続いて現在位置特定部１３ａは、ＳＢ５で特定した車両２の現在位置を特定する情報を、通信部１１を介して撮影端末２０に送信する（ＳＢ６）。その後、車載装置１０の制御部１３は撮影処理を終了する。 Subsequently, the current position specifying unit 13a transmits information specifying the current position of the vehicle 2 specified in SB5 to the photographing terminal 20 via the communication unit 11 (SB6). Thereafter, the control unit 13 of the in-vehicle device 10 ends the photographing process.

撮影端末２０の通信部２１が、車両２の現在位置を特定する情報を車載装置１０から受信すると、当該受信した情報に基づき、撮影位置特定部２４ｂはカメラ２２による画像の撮影位置を特定する（ＳＢ７）。例えば撮影位置特定部２４ｂは、車載装置１０から受信した情報に基づき特定される車両２の現在位置を、カメラ２２による画像の撮影位置として特定する。 When the communication unit 21 of the imaging terminal 20 receives information specifying the current position of the vehicle 2 from the in-vehicle device 10, the imaging position specifying unit 24b specifies the imaging position of the image by the camera 22 based on the received information ( SB7). For example, the shooting position specifying unit 24 b specifies the current position of the vehicle 2 specified based on the information received from the in-vehicle device 10 as the shooting position of the image by the camera 22.

続いて、画像情報送信部２４ｃは、ＳＢ３でカメラ２２により撮影された画像とＳＢ７で撮影位置特定部２４ｂにより特定された当該画像の撮影位置とを相互に関連付けた画像情報を、通信部２１を介してサーバに送信する（ＳＢ８）。その後、撮影端末２０の制御部２４は撮影処理を終了する。 Subsequently, the image information transmission unit 24c transmits the image information obtained by correlating the image captured by the camera 22 in SB3 and the shooting position of the image specified by the shooting position specifying unit 24b in SB7 to the communication unit 21. To the server (SB8). Thereafter, the control unit 24 of the photographing terminal 20 ends the photographing process.

（効果）
このように本実施の形態によれば、設置判定部２４ｄは、車両方向特定部１３ｂにより特定された車両２の進行方向と、撮影方向特定部２４ａにより特定されたカメラ２２の撮影方向とに基づき、所定の方向を撮影可能な角度で撮影端末２０が設置されたか否かを判定するので、車両２の進行方向を基準として、所定の方向（例えば車両２の進行方向）を撮影可能な角度で撮影端末２０が設置されたか否かを自動的に判定することができる。また、所定の方向を撮影可能な角度で撮影端末２０が設置されたと設置判定部２４ｄにより判定された場合に、画像情報送信部２４ｃが、カメラ２２により撮影された画像と撮影位置特定部２４ｂにより特定された当該画像の撮影位置とを相互に関連付けた画像情報を送信するので、所定の方向を撮影した画像を確実に送信することができ、無用な画像情報の送信のために通信コストを浪費してしまうことを防止できる。 (effect)
Thus, according to the present embodiment, the installation determining unit 24d is based on the traveling direction of the vehicle 2 specified by the vehicle direction specifying unit 13b and the shooting direction of the camera 22 specified by the shooting direction specifying unit 24a. Since it is determined whether or not the photographing terminal 20 is installed at an angle at which a predetermined direction can be photographed, the predetermined direction (for example, the traveling direction of the vehicle 2) can be photographed at an angle at which the traveling direction of the vehicle 2 can be photographed. It can be automatically determined whether or not the photographing terminal 20 is installed. In addition, when the installation determination unit 24d determines that the imaging terminal 20 is installed at an angle capable of capturing a predetermined direction, the image information transmission unit 24c uses the image captured by the camera 22 and the imaging position specifying unit 24b. Since the image information that correlates the identified shooting position of the image with each other is transmitted, it is possible to reliably transmit an image captured in a predetermined direction, and waste communication costs for transmitting unnecessary image information. Can be prevented.

特に、設置判定部２４ｄは、車両方向特定部１３ｂにより特定された車両２の進行方向と、撮影方向特定部２４ａにより特定されたカメラ２２の撮影方向との差分が、閾値以下の場合に、所定の方向を撮影可能な角度で撮影端末２０が設置されたと判定するので、車両２の進行方向を撮影可能な角度で撮影端末２０が設置されたか否かを一層確実に判定することができる。 In particular, the installation determining unit 24d is predetermined when the difference between the traveling direction of the vehicle 2 specified by the vehicle direction specifying unit 13b and the shooting direction of the camera 22 specified by the shooting direction specifying unit 24a is equal to or less than a threshold value. Since it is determined that the photographing terminal 20 is installed at an angle capable of photographing the direction, it can be more reliably determined whether the photographing terminal 20 is installed at an angle capable of photographing the traveling direction of the vehicle 2.

また、設置判定部２４ｄは、カメラ２２に複数回の撮影を行わせ、当該撮影された複数の画像間の差異に基づき、撮影端末２０が車両２の外界を撮影可能な位置に設置されたか否かを判定するので、カメラ２２の撮影対象の動きの有無を利用して、撮影端末２０が車両２の外界を撮影可能な位置に設置されたか否かを容易且つ確実に判定することができる。 In addition, the installation determination unit 24d causes the camera 22 to capture a plurality of times, and whether or not the imaging terminal 20 is installed at a position where the outside of the vehicle 2 can be captured based on the difference between the captured images. Therefore, it is possible to easily and surely determine whether or not the photographing terminal 20 is installed at a position where the outside of the vehicle 2 can be photographed using the presence or absence of movement of the photographing target of the camera 22.

特に、設置判定部２４ｄは、走行判定部２４ｅにより車両２が走行中と判定された場合に、カメラ２２に複数回の撮影を行わせるので、車両２の走行に伴うカメラ２２の撮影対象の動きの有無を利用して、撮影端末２０が車両２の外界を撮影可能な位置に設置されたか否かを一層容易且つ確実に判定することができる。 In particular, since the installation determination unit 24d causes the camera 22 to perform shooting a plurality of times when the traveling determination unit 24e determines that the vehicle 2 is traveling, the movement of the imaging target of the camera 22 as the vehicle 2 travels. Whether or not the photographing terminal 20 is installed at a position where the outside of the vehicle 2 can be photographed can be determined more easily and reliably.

また、設置判定部２４ｄは、カメラ２２により所定の時間間隔で連続して撮影された２つの画像について、各画像を構成する画素毎に階調値の差分を算出し、全画素について算出した当該階調値の差分の総和が閾値以上である場合に、撮影端末２０が車両２の外界を撮影可能な位置に設置されたと判定するので、カメラ２２の撮影対象の動きの有無を確実に判定することができ、撮影端末２０が車両２の外界を撮影可能な位置に設置されたか否かを一層確実に判定することができる。 In addition, the installation determination unit 24d calculates a difference in gradation value for each pixel constituting each image, and calculates the difference between all the pixels, for two images continuously captured by the camera 22 at a predetermined time interval. When the sum of the differences between the gradation values is equal to or greater than the threshold value, it is determined that the photographing terminal 20 is installed at a position where the outside of the vehicle 2 can be photographed. It is possible to determine whether or not the photographing terminal 20 is installed at a position where the outside of the vehicle 2 can be photographed.

特に、設置判定部２４ｄは、カメラ２２により所定の時間間隔で連続して撮影された２つの画像の各組み合わせについて、各画像を構成する画素毎に階調値の差分を算出し、全画素について算出した当該階調値の差分の総和が閾値以上である当該２つの画像の組み合わせの数が所定数以上である場合に、撮影端末２０が車両２の外界を撮影可能な位置に設置されたと判定するので、カメラ２２の撮影対象の動きの有無を一層確実に判定することができ、撮影端末２０が車両２の外界を撮影可能な位置に設置されたか否かを一層確実に判定することができる。 In particular, the installation determination unit 24d calculates a difference in gradation value for each pixel constituting each image for each combination of two images continuously captured by the camera 22 at predetermined time intervals. When the number of combinations of the two images in which the calculated difference between the gradation values is equal to or greater than the threshold is equal to or greater than a predetermined number, it is determined that the photographing terminal 20 is installed at a position where the outside of the vehicle 2 can be photographed. Therefore, the presence or absence of the movement of the photographing target of the camera 22 can be more reliably determined, and it can be further reliably determined whether or not the photographing terminal 20 is installed at a position where the outside of the vehicle 2 can be photographed. .

〔実施の形態に対する変形例〕
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。 [Modifications to Embodiment]
Although the embodiments of the present invention have been described above, the specific configuration and means of the present invention can be arbitrarily modified and improved within the scope of the technical idea of each invention described in the claims. Can do. Hereinafter, such a modification will be described.

（解決しようとする課題や発明の効果について）
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏することがある。 (About problems to be solved and effects of the invention)
First, the problems to be solved by the invention and the effects of the invention are not limited to the above contents, and may vary depending on the implementation environment and details of the configuration of the invention. May be solved, or only some of the effects described above may be achieved.

（分散や統合について）
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成できる。例えば、撮影端末２０の制御部２４の一部又は全部の機能を、車載装置１０の制御部１３に持たせるようにしてもよい。あるいは、車載装置１０の制御部１３の一部又は全部の機能を、撮影端末２０の制御部２４に持たせるようにしてもよい。 (About distribution and integration)
Further, each of the electrical components described above is functionally conceptual and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each part is not limited to the one shown in the figure, and all or a part thereof may be functionally or physically distributed / integrated in arbitrary units according to various loads and usage conditions. Can be configured. For example, the control unit 13 of the in-vehicle device 10 may have some or all of the functions of the control unit 24 of the photographing terminal 20. Or you may make it give the control part 24 of the imaging | photography terminal 20 the part or all of the function of the control part 13 of the vehicle-mounted apparatus 10. FIG.

（設置判定処理について）
図３のＳＡ６における、車両方向と撮影方向との差分が閾値以下か否かの判定結果に基づき、設置判定部２４ｄが、撮影端末２０のディスプレイや車載装置１０のディスプレイ（いずれも図示省略）等により所定の情報を出力させるようにしてもよい。例えば、車両方向と撮影方向との差分が閾値以下ではなかった場合に、所定の方向（例えば車両２の進行方向）を撮影可能な角度で撮影端末２０が設置されていない旨のメッセージや、所定の方向にカメラ２２を向けて撮影端末２０を設置するように促すメッセージを、撮影端末２０のディスプレイや車載装置１０のディスプレイ等により出力させるようにしてもよい。 (About installation judgment processing)
Based on the determination result of whether or not the difference between the vehicle direction and the shooting direction is equal to or less than the threshold value in SA6 of FIG. 3, the installation determination unit 24d displays the display of the shooting terminal 20, the display of the in-vehicle device 10 (both not shown), etc. The predetermined information may be output by. For example, when the difference between the vehicle direction and the shooting direction is not less than or equal to the threshold value, a message indicating that the shooting terminal 20 is not installed at an angle at which a predetermined direction (for example, the traveling direction of the vehicle 2) can be shot, A message prompting the user to install the photographing terminal 20 with the camera 22 facing in the direction may be output from the display of the photographing terminal 20, the display of the in-vehicle device 10, or the like.

また、図３のＳＡ１３における、ＳＡ８でカメラ２２により所定の時間間隔で連続して撮影された２つの画像の各組み合わせについて、ＳＡ９において設置判定部２４ｄにより算出された各画像を構成する画素毎の階調値の差分の総和が閾値以上である当該２つの画像の組み合わせの数が、所定数以上か否かの判定結果に基づき、設置判定部２４ｄが、撮影端末２０のディスプレイや車載装置１０のディスプレイ（いずれも図示省略）等により所定の情報を出力させるようにしてもよい。例えば、ＳＡ８でカメラ２２により所定の時間間隔で連続して撮影された２つの画像の各組み合わせについて、ＳＡ９において設置判定部２４ｄにより算出された各画像を構成する画素毎の階調値の差分の総和が閾値以上である当該２つの画像の組み合わせの数が、所定数以上ではなかった場合に、撮影端末２０が車両２の外界を撮影可能な位置に設置されていない旨のメッセージや、カメラ２２の前方に障害物のない位置に撮影端末２０を設置するように促すメッセージを、撮影端末２０のディスプレイや車載装置１０のディスプレイ等により出力させるようにしてもよい。 Further, in SA13 of FIG. 3, for each combination of two images continuously captured at predetermined time intervals by the camera 22 in SA8, for each pixel constituting each image calculated by the installation determination unit 24d in SA9. Based on the determination result of whether or not the number of combinations of the two images whose sum of gradation value differences is equal to or greater than a threshold is equal to or greater than a predetermined number, the installation determination unit 24d determines whether the display of the photographing terminal 20 or the in-vehicle device 10 Predetermined information may be output by a display (both not shown) or the like. For example, for each combination of two images continuously captured at a predetermined time interval by the camera 22 in SA8, the difference in gradation value for each pixel constituting each image calculated by the installation determination unit 24d in SA9. If the number of combinations of the two images whose sum is equal to or greater than the threshold is not equal to or greater than the predetermined number, a message indicating that the photographing terminal 20 is not installed at a position where the outside of the vehicle 2 can be photographed, or the camera 22 A message prompting the user to install the photographing terminal 20 at a position free of obstacles may be output on the display of the photographing terminal 20, the display of the in-vehicle device 10, or the like.

また上述の実施の形態では、図３のＳＡ７で、車両２が走行中か否かを走行判定部２４ｅが判定すると説明したが、このＳＡ７の処理を省略し、車両２が走行中か否かに関わらず、ＳＡ８以降の各処理を実行するようにしてもよい。 Further, in the above-described embodiment, it has been described that the traveling determination unit 24e determines whether or not the vehicle 2 is traveling in SA7 in FIG. 3, but the processing in SA7 is omitted and whether or not the vehicle 2 is traveling. Regardless, the processes after SA8 may be executed.

また、図３に示した設置判定処理の内、ＳＡ７からＳＡ１３の処理を省略し、所定の方向を撮影可能な角度で撮影端末２０が設置されたか否かのみを設置判定部２４ｄが判定するようにしてもよい。あるいは、図３に示した設置判定処理の内、ＳＡ２からＳＡ６の処理を省略し、撮影端末２０が車両２の外界を撮影可能な位置に設置されたか否かのみを設置判定部２４ｄが判定するようにしてもよい。 Also, in the installation determination process shown in FIG. 3, the processes from SA7 to SA13 are omitted, and the installation determination unit 24d determines only whether or not the imaging terminal 20 is installed at an angle capable of capturing a predetermined direction. It may be. Alternatively, among the installation determination processes shown in FIG. 3, the processes from SA2 to SA6 are omitted, and the installation determination unit 24d determines only whether or not the imaging terminal 20 is installed at a position where the outside of the vehicle 2 can be imaged. You may do it.

１撮影システム
２車両
１０車載装置
１１、２１通信部
１２現在位置検出処理部
１３、２４制御部
１３ａ現在位置特定部
１３ｂ車両方向特定部
１４、２５データ記録部
２０撮影端末
２２カメラ
２３方向センサ
２４ａ撮影方向特定部
２４ｂ撮影位置特定部
２４ｃ画像情報送信部
２４ｄ設置判定部
２４ｅ走行判定部 DESCRIPTION OF SYMBOLS 1 Shooting system 2 Vehicle 10 In-vehicle device 11, 21 Communication unit 12 Current position detection processing unit 13, 24 Control unit 13a Current position specifying unit 13b Vehicle direction specifying unit 14, 25 Data recording unit 20 Shooting terminal 22 Camera 23 Direction sensor 24a Shooting Direction specifying unit 24b Shooting position specifying unit 24c Image information transmitting unit 24d Installation determining unit 24e Travel determining unit

Claims

Shooting position specifying means for specifying a shooting position of an image by a shooting terminal detachably installed in the vehicle;
Installation determination means for causing the imaging terminal to perform imaging a plurality of times and determining whether the imaging terminal is installed at a position where the outside of the vehicle can be imaged based on a difference between the captured images. When,
When it is determined by the installation determining means that the imaging terminal is installed at a position where the outside of the vehicle can be imaged, the image captured by the imaging terminal and the image specified by the imaging position specifying means are captured. Image information transmitting means for transmitting image information that correlates the position with each other;
A photographing system comprising:

Travel determination means for determining whether or not the vehicle is traveling,
The installation determination unit causes the imaging terminal to perform imaging a plurality of times when the traveling determination unit determines that the vehicle is traveling, and performs the imaging based on the difference between the captured images. It is determined whether the terminal is installed at a position where the outside of the vehicle can be photographed.
The imaging system according to claim 1.

The installation determination unit causes the photographing terminal to perform photographing at a predetermined time interval, and for two images continuously photographed by the photographing terminal at the predetermined time interval, for each pixel constituting each image. When the difference between the tone values is calculated and the sum of the differences between the gradation values calculated for all the pixels is equal to or greater than the threshold, it is determined that the imaging terminal is installed at a position where the outside of the vehicle can be captured,
The imaging system according to claim 1 or 2.

The installation determination means includes
For each combination of two images continuously captured at the predetermined time interval by the photographing terminal, a gradation value difference is calculated for each pixel constituting each image, and the gradation value calculated for all pixels is calculated. When the number of combinations of the two images whose sum of differences is equal to or greater than a threshold is greater than or equal to a predetermined number, it is determined that the photographing terminal is installed at a position where the outside of the vehicle can be photographed.
The imaging system according to claim 3.

A shooting position specifying step for specifying a shooting position of an image by a shooting terminal detachably installed in the vehicle;
Installation determination step for causing the imaging terminal to perform imaging a plurality of times and determining whether the imaging terminal is installed at a position where the outside of the vehicle can be imaged based on a difference between the captured images. When,
When it is determined in the installation determination step that the photographing terminal is installed at a position where the outside of the vehicle can be photographed, the image captured by the photographing terminal and the image identified by the photographing position specifying step are captured. An image information transmission step of transmitting image information that correlates the position with each other;
Including shooting method.

A shooting program for causing a computer to execute the method according to claim 5.