JP2003317193A - Apparatus - Google Patents

Apparatus

Info

Publication number
JP2003317193A
JP2003317193A JP2002120689A JP2002120689A JP2003317193A JP 2003317193 A JP2003317193 A JP 2003317193A JP 2002120689 A JP2002120689 A JP 2002120689A JP 2002120689 A JP2002120689 A JP 2002120689A JP 2003317193 A JP2003317193 A JP 2003317193A
Authority
JP
Japan
Prior art keywords
image
vehicle
information
user
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002120689A
Other languages
Japanese (ja)
Other versions
JP3951786B2 (en
Inventor
Kazuoki Matsugaya
松ヶ谷  和沖
Original Assignee
Denso Corp
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, 株式会社デンソー filed Critical Denso Corp
Priority to JP2002120689A priority Critical patent/JP3951786B2/en
Publication of JP2003317193A publication Critical patent/JP2003317193A/en
Application granted granted Critical
Publication of JP3951786B2 publication Critical patent/JP3951786B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Abstract

<P>PROBLEM TO BE SOLVED: To upload an image of the circumference of a vehicle to an image server which distributes the image to a user outside a vehicle at a user's request. <P>SOLUTION: The image server arranged on a network receives a request to distribute an image of a specified photography place from the user and requests an image control computer mounted on the vehicle through radio communication to photograph an image in timing of photography based upon the photography place when the image of the photography place that the user specifies is not stored. In an image uploading device having received the request, an information processing part 13 takes a picture in the specified timing and sends the photographed image and photographic information on the image to the image server through an A radio unit 25. Then the image server receives the image and photographic information on the image from the image control computer 10 and distributes the received image and photographic information on the image to the user. <P>COPYRIGHT: (C)2004,JPO

Description

【発明の詳細な説明】 【0001】 【発明の属する技術分野】本発明は、車両に搭載され、 BACKGROUND OF THE INVENTION [0001] [Technical Field of the Invention The present invention is mounted on a vehicle,
当該車両の走行中に画像を撮影して画像サーバに送信する画像アップロード装置、画像アップロード装置に画像を撮影するタイミングを指定し、画像アップロード装置から受信した画像を保存してユーザに配信する画像サーバ、およびこの画像アップロード装置と画像サーバとから成る画像配信システムに関するものである。 Image server the image upload device which transmits the captured image during running of the vehicle in the image server, to specify the timing to shoot an image in the image upload device is delivered to the user to save the images received from the image upload device , and an image distribution system comprising a image upload device and the image server. 【0002】 【従来の技術】従来、道路の渋滞状況等を遠隔地の人に伝えるために、道路に定点カメラを設置し、このカメラによって撮影された道路の画像を要求する人に配信するというサービスがある。 [0002] Conventionally, in order to convey the road of the congestion status, etc. to people in remote areas, that road a fixed point camera installed in, to deliver to the person requesting the image of the road taken by this camera service there is. 例えばモネ(MONET)と呼ばれるサービスは、道路状況をライブの動画像として携帯電話のユーザに配信するようになっている。 For example, a service called Monet (MONET) is adapted to deliver to the user's mobile phone road conditions as a moving image of live. 画像によって道路状況が伝えられると、この画像を見た人は視覚的に瞬時に道路状況を把握することができる。 When the road situation is conveyed by the image, the person who looked at this image can visually understand the road conditions in an instant. 従って、 Therefore,
画像による道路状況の通知は文字情報による道路状況の通知よりも直接的であるという点で優れている。 Notification of road conditions by image is superior in that it is straightforward than alert road condition by character information. また、 Also,
画像の配信は、渋滞状況に限らず、天候、景観状況、高速道路等への進入経路、事故状況等の道路に関する情報も伝えることが可能である。 Delivery of the image is not limited to traffic congestion, weather, landscape situation, it is also possible to convey information about the road of the route of entry, such as an accident situation to the high-speed roads. 【0003】 【発明が解決しようとする課題】このような道路に関する情報を伝える画像の撮影を、道路上を走行する車両が行い、画像をユーザに配信する画像サーバにアップロードすることができれば、各所に大量の定点カメラを設置することなく様々な場所の画像の配信が行えるので都合が良い。 [0003] [Problems that the Invention is to Solve the shooting of the image to convey information about such road, performed by the vehicle traveling on the road, as long as it can be uploaded to the image server to deliver the image to the user, various locations convenient because it can be carried out delivery of the various locations of the image without having to install a large number of fixed point camera to. このような車両から画像サーバに画像をアップロードするシステムとしては、特開2000−1729 The system for uploading an image from such a vehicle in the image server, JP 2000-1729
82号公報に記載の技術がある。 82 No. there is a technique described. しかし、この公報に記載の技術では、走行している車両の撮影場所を決定するのは、車両に付いたセンサあるいは車両の乗員のみである。 However, in the technology described in this publication, to determine the shooting location of the travel to which the vehicle is only occupant sensors or vehicle attached to the vehicle. 従って、車外の第三者が現在この車両が走行している場所の画像を残したい、あるいは閲覧したいと思っても、車内のセンサあるいは乗員によって偶々撮影が行われない限り、画像の撮影が画像サーバにアップロード、 It is, therefore, to leave the image of the place where the outside of the vehicle of a third party is the vehicle is currently traveling, or even want to browse, as long as even people shooting is not performed by the car of the sensor or the passenger, the image of the shooting image uploaded to the server,
すなわち送信されることはないという問題がある。 That there is a problem that is not transmitted. 【0004】本発明は上記問題に鑑みて、車外のユーザの要求に従って、車両の周囲の画像を、ユーザに画像を配信する画像サーバにアップロードすることを目的とする。 [0004] The present invention is in view of the above problems, according to the requirements of outside user, an image around the vehicle, and an object thereof is to upload the image server for delivering an image to a user. 【0005】 【課題を解決するための手段】上記目的を達成するための請求項1に記載の発明は、車両に搭載される画像アップロード装置であって、車両に搭載された第1の無線通信機を介して、車両に搭載されたカメラでの車両の周囲の撮影を行うタイミングの指定を受信する受信手段と、 [0005] The invention according to claim 1 for achieving the above object In order to achieve the above, an image upload device mounted on a vehicle, the first wireless communication mounted on the vehicle via machine, receiving means for receiving a specification of timing for shooting around the vehicle with a camera mounted on the vehicle,
指定された撮影を行うタイミングにおいて撮影を行い、 It performs a shooting in the timing of the specified shot,
撮影した画像を、ユーザからの要求に基づいて画像を配信する画像サーバに第1の無線通信機を介して送信する送信手段と、を備えた画像アップロード装置である。 The captured image is an image upload apparatus and a transmitting means for transmitting via a first wireless communication device to the image server for delivering an image based on a request from the user. 【0006】これによって、車両に搭載された画像アップロード装置において、受信手段が車両に搭載されたカメラでの撮影を行うタイミングの指定を受信し、また送信手段が指定されたタイミングでこの撮影を行い、撮影された画像を、ユーザからの要求に基づいて画像を配信する画像サーバに第1の無線通信機を介して送信するので、車外のユーザの要求に従って、車両の周囲の画像を、ユーザに画像を配信する画像サーバにアップロードすることが可能となる。 [0006] Thus, the image upload device mounted on a vehicle, receives the designation of the timing of receiving means perform photographing by the camera mounted on the vehicle, also performs the shooting at the transmitting means is designated timing the captured image, and transmits via the first wireless communication device to the image server for delivering an image based on a request from the user, according to the requirements of outside user, an image around the vehicle, the user it is possible to upload to the image server to deliver the image. 【0007】なお、ここでの画像とは、動画像と静止画像の両方を含んだ概念である。 [0007] Note that the image here is a concept that includes both moving images and still images. また、カメラでの撮影とは、カメラから出力される映像信号を取得することである。 Also, the photographing by the camera is to obtain the video signal output from the camera. また、本明細書においてユーザとは、端末および端末を操作する人のことである。 The user in this specification refers to a person operating the terminal and the terminal. 【0008】また、請求項2に記載の発明は、請求項1 [0008] The invention of claim 2, claim 1
に記載の画像アップロード装置において、送信手段は、 The image upload device according to the transmission means,
画像を撮影したときの撮影状況に関する情報である画像の撮影情報を、画像に併せて画像サーバに第1の無線通信機を介して送信することを特徴としている。 The imaging information is information related to a shooting situation at the time of photographing the image, it is characterized by transmitting via a first wireless communication device to the image server together with the image. 【0009】また、請求項3に記載の発明は、請求項1 [0009] The invention of claim 3, claim 1
または2に記載の画像アップロード装置において、受信手段は、撮影を行うタイミングの指定として、撮影を行うときの車両の位置の指定を受信することを特徴としている。 Or the image upload device according to 2, the receiving means, as the designation of the timing of photographing, is characterized by receiving a specification of the position of the vehicle when performing photographing. 【0010】なお、車両の位置とは、位置の厳密な一点を指す概念も、位置のある範囲を指す概念も含んだものである。 [0010] Note that the position of the vehicle, the concept refers to strict single point position is also one in which contains the concept that refers to a range of positions. 【0011】また、請求項4に記載の発明は、請求項1 [0011] The invention of claim 4, claim 1
ないし3のいずれか1つに記載の画像アップロード装置において、受信手段は、第1の無線通信機を介して、カメラでの撮影を行うタイミングの指定を、画像サーバから受信することを特徴としている。 To the image upload device according to any one of 3, the receiving means, through the first wireless communication device, the specification of the timing to perform photographing by the camera, is characterized by receiving from the image server . 【0012】また、請求項5に記載の発明は、請求項1 [0012] The invention of claim 5, claim 1
ないし4のいずれか1つに記載の画像アップロード装置において、画像は、動画像であることを特徴としている。 In to the image upload device according to any one of 4, the image is characterized to be a moving image. 【0013】このように、撮影する画像が動画像であることにより、車両が道路の状況を知りたい場所の前後の範囲も含めて撮影するため、撮影時の位置の誤差による撮影失敗を防ぐためのマージンができるようになる。 [0013] Thus, by a captured image is a moving image, since the vehicle is captured, including range around the place you want to know the status of the road, to prevent shooting failure due to the error in the position at the time of shooting so that it is in the margin. また、動画像であるがゆえに、この画像を受信したユーザは、撮影位置の状況の時間変化を把握することができる。 The user is a moving image because, having received the image can grasp the temporal change of status of the photographing position. 【0014】なお、ここでの動画像とは、通常のムービー等の動画像と、静止画像を時系列で連続的に複数枚撮影したものとの両方を含む概念である。 [0014] Here, the moving image and is of a concept including a moving image such as a regular movie, both as that continuously shooting a plurality of still images in time series. 【0015】また、請求項6に記載の発明は、請求項5 [0015] The invention of claim 6, claim 5
に記載の画像アップロード装置において、送信手段は、 The image upload device according to the transmission means,
第1の無線通信機を介して画像の代表的な部分および画像の撮影情報を画像サーバに送信し、その後に車両に搭載された第2の無線通信機を介して画像の残りの部分を画像サーバに送信することを特徴としている。 The first through the wireless communication device transmits the imaging information of representative portions and images of the image to the image server, the remainder of the image then through the second wireless communication device mounted on a vehicle image It is characterized in that to the server. 【0016】また、請求項7に記載の発明は、請求項6 [0016] The invention of claim 7, claim 6
に記載の画像アップロード装置において、第2の無線通信機の伝送容量は第1の無線通信機の伝送容量より大きいことを特徴としている。 The image upload device according to the transmission capacity of the second wireless communication device is characterized by greater than the transmission capacity of the first wireless communication device. 【0017】これにより、送信手段が、伝送容量が第2 [0017] Thus, the transmission means, the transmission capacity is second
の無線通信機に比べて小さい第1の無線通信機を介して、画像の代表的な部分および画像の撮影情報を先に画像サーバに送信し、後により伝送容量の大きい第2の無線通信機を介して残りの画像を画像サーバに送信するので、小容量通信においてまず最低限の情報を送信し、後から大容量通信において詳細な情報を送信することができ、通信の容量を有効活用した伝送が可能となる。 The first via the wireless communication device smaller than the radio communication apparatus, transmits shooting information representative portion and image of the image previously in the image server, a large second wireless communication device of transmission capacity later and it transmits the rest of the image to the image server via a first transmit minimal information in the small-capacity communication can transmit more information in a large capacity communication later, by effectively utilizing the capacity of the communication transmission is possible. 【0018】また、請求項8に記載の発明は、請求項6 [0018] The invention of claim 8, claim 6
または7に記載の画像アップロード装置において、第2 Or the image upload device according to 7, the second
の無線通信機を使用する時の通信コストは第1の無線通信機を使用する時の通信コストより低いことを特徴としている。 The communication cost when using the wireless communication device is characterized in that the lower communication cost when using the first wireless communication device. 【0019】これにより、送信手段が、通信コストが第2の無線通信機に比べて小さい第1の無線通信機を介して、画像の代表的な部分および画像の撮影情報を先に画像サーバに送信し、後により通信コストの高い第2の無線通信機を介して残りの画像を画像サーバに送信するので、高コスト通信においてまず最低限の情報を送信し、 [0019] Thus, the transmission means, through a first wireless communication device communication cost is small compared to the second wireless communication device, a photographic information representative portion and image of the image previously to the image server transmitted, and transmits the remainder of the image to the image server via a high communication cost second wireless communication device later, first sends the minimum information in the high-cost communication,
後から低コスト通信において詳細な情報を送信することができ、通信の容量を有効活用した伝送が可能となる。 Can send more information in a low-cost communications later, it is possible to transmit that effectively utilize the capacity of the communication. 【0020】また、請求項9に記載の発明は、請求項6 Further, the invention according to claim 9, claim 6
ないし8のいずれか1つに記載の画像アップロード装置において、画像の代表的な部分とは、画像のうち、画像が撮影された時間帯の中央の時刻に撮影されたものであることを特徴としている。 The image upload device according to any one of to 8, a representative portion of the image, of the image, the image is one that was taken in the middle of the time of the shooting time zone as the feature there. 【0021】また、請求項10に記載の発明は、ネットワーク上に配置された画像サーバであって、車両から、 Further, the invention according to claim 10, an image server located on a network, from the vehicle,
車両が撮影した当該車両の周囲の画像を無線通信により受信する画像受信手段と、ネットワークを介してユーザから指定の撮影場所における画像の配信の要求を受信し、この要求に基づき、車両が撮影場所に基づく撮影のタイミングで画像を撮影して画像を送信するよう、車両に対して無線通信によって要求し、この要求の応答として画像受信手段が受信した画像をユーザに配信する画像配信手段を備えた画像サーバであることを特徴としている。 Receiving an image receiving means for receiving an image of surroundings of the vehicle where the vehicle is captured by wireless communications, a request for image delivery in the specified shooting location from the user via the network, based on this request, vehicle shooting location by photographing the image at a timing of photographing based on the to send an image, requested by the wireless communication to the vehicle, comprising an image distribution means for distributing the image image receiving means receives the response of this request to the user it is characterized by an image server. 【0022】これにより、ネットワーク上に配置された画像サーバにおいて、画像配信手段が、ネットワークを介してユーザから指定の撮影場所における画像の配信の要求を受信し、この要求に基づき、車両が撮影場所に基づく撮影のタイミングで画像を撮影してこの画像を送信するよう、この車両に対して無線通信によって要求し、 [0022] Thus, in the arrangement image server on a network, the image distributing means, via the network receives a request for image delivery in the specification of the shooting location from the user, based on the request, vehicle shooting location by photographing the image at a timing of photographing based on to send the image, and required by the wireless communication to the vehicle,
また画像受信手段が、この車両から、車両が撮影した画像を無線通信により受信し、また画像配信手段が、この受信した画像をユーザに配信するので、車外のユーザの要求に従って、車両の周囲の画像を、ユーザに画像を配信する画像サーバにアップロードすることが可能となる。 The image receiving means, from the vehicle, the vehicle is received by the wireless communication images captured and image delivery unit, so distributes the received images to a user, according to the requirements of the outside of the user, the surroundings of the vehicle the image, it is possible to upload to the image server to deliver the image to the user. 【0023】なお、画像配信手段は、ユーザから指定の撮影場所における画像の配信の要求に基づき、車両に対して無線通信によって要求するとなっているが、ここでの画像の配信の要求に基づくとは、要求があるときには必ず車両に対して無線通信を行うことのみを意味するものではなく、画像の配信の要求に基づき、必要なときには車両に対して無線通信を行うことをも含む概念である。 [0023] Note that the image delivery unit, based on the request for the image delivery in the shooting location specified by the user, although a request by the wireless communication to the vehicle, based on the requirements of the distribution of the image where the request is not intended to mean only to perform the wireless communication always relative to the vehicle when in, based on the request for the image delivery, when needed is the concept including that perform wireless communication to the vehicle . 【0024】また、ここで撮影場所とは、撮影時刻における当該車両の位置と、撮影対象の位置の両方を含む概念である。 Further, where the shooting location and is a concept including the position of the vehicle at a photographing time, both the position of the imaging target. 撮影対象の特定には撮影の方向や時刻の情報が付加されていてもよい。 The specific imaging target may be added information direction and time of shooting. 【0025】また、請求項11に記載の発明は、請求項10に記載の画像サーバにおいて、車両のうち、あらかじめ計画された予定経路を走行するようになっている車両の、予定経路と予定経路中の通過位置と通過予定時刻との対応から成る車両の運行路線データベースを備え、 Further, an invention according to claim 11, in the image server according to claim 10, of the vehicle, the vehicle adapted to travel a pre-planned scheduled route, scheduled route and planned route includes a transit line database of vehicle consisting of correspondence between a passing position and planned passage time in,
画像配信手段は、運行路線データベースに基づいて、画像を撮影して画像を送信するよう無線通信によって要求する対象の車両を決定することを特徴としている。 Image delivery unit is operated on the basis of the route database is characterized by determining the vehicle for which requests the wireless communication to transmit an image by capturing an image. 【0026】これによって、決められた予定経路を走行する車両の運行路線データベースを画像サーバが備えており、この運行路線データベースに基づいて画像の撮影を要求する車両を決めてから要求を送信することができるので、効率よく画像の撮影を行うことができる。 [0026] Thus, it provided with the vehicle transit line database image server running a-determined planned route, sending a request from decide vehicle that requires capturing of images on the basis of the transit line database since it is, it is possible to perform efficient image shooting. 【0027】また、請求項12に記載の発明は、請求項10または11に記載の画像サーバにおいて、画像受信手段は、車両から、車両が撮影した当該車両の周囲の画像および画像が撮影されたときの撮影状況に関する情報である画像の撮影情報を無線通信により受信し、かつこの画像および画像の撮影情報を画像の撮影情報に基づいて保存し、画像配信手段は、ネットワークを介してユーザから指定の撮影場所における画像の配信の要求を受信し、ユーザの指定の撮影場所における画像を画像保存手段が保存していなければ、車両が撮影場所に基づく撮影のタイミングで画像を撮影して画像および画像の撮影情報を送信するよう、車両に対して無線通信によって要求し、この要求の応答として画像受信手段が受信した画像をユーザに配信す [0027] The invention of claim 12 is the image server according to claim 10 or 11, the image receiving means, from the vehicle, the image and the image of the surrounding of the vehicle where the vehicle is photographed is photographed the imaging information of the shooting situation relating to the information image received by wireless communication, and to save on the basis of the imaging information of the image and the image in the photographic information of the image in the image delivery unit is designated by the user via the network of receiving a request for image delivery in the shooting location, if not saved image storage means an image in the photographing location specified by the user, by photographing the image at a timing of photographing the vehicle based on the shooting location images and image to the transmit the imaging information to request the wireless communication to the vehicle, to distribute the image image receiving means receives the response of this request to the user ことを特徴としている。 It is characterized in that. 【0028】これにより、ネットワーク上に配置された画像サーバにおいて、画像配信手段が、ネットワークを介して、ユーザから指定の撮影場所における画像の配信の要求を受け、指定の撮影場所における画像をユーザに配信し、もしユーザの指定の撮影場所における画像を保存していなければ、無線通信によって撮影の要求を受信することによって自己の周囲の画像を撮影し、この撮影した画像の撮影情報を作成する車両に対して、この撮影場所に基づく撮影のタイミングで画像を撮影するよう無線通信によって要求し、また画像受信手段が、この車両から、この車両によって撮影された画像と画像の撮影情報とを無線通信により受信し、この画像と画像の撮影情報とをユーザに配信するので、車外のユーザの要求に従って、車両の周囲 [0028] Thus, in the arrangement image server on a network, the image distributing means, via the network, receiving a request for image delivery in the shooting location specified by the user, the user image in the shooting location of the designated delivered, if not if save an image in the designated photographing location of the user, capturing images surrounding the self by receiving a request for photographing by a wireless communication, to create a photographing information of the photographed image vehicle respect requests by wireless communication to take an image at a timing of shooting based on the shooting location and the image receiving means, from the vehicle, wireless communication and photographing information of the photographed image and an image by the vehicle received, since distributing and imaging information of the image and the image to the user, according to the requirements of the outside of the user, the surroundings of the vehicle 画像を、ユーザに画像を配信する画像サーバにアップロードすることが可能となる。 The image, it is possible to upload to the image server to deliver the image to the user. 【0029】また、請求項13に記載の発明は、請求項12に記載の画像サーバにおいて、画像の撮影情報は、 [0029] The invention of claim 13 is the image server according to claim 12, shooting information of an image,
画像が撮影されたときの撮影時刻情報および撮影場所情報を含み、画像保存手段は、受信した画像を、この画像が撮影された撮影時刻あるいは撮影場所別に整理して保存することを特徴としている。 Includes photographing time information and the shooting location information when the image is captured, the image saving means, the received image, is characterized in that the image is stored organized by photographed shooting time or shooting location. 【0030】このように、画像が撮影場所あるいは撮影時刻別に整理されて保存されていれば、この画像を利用するユーザの利便性が向上する。 [0030] Thus, if the image is saved are organized for specific shooting location or the shooting time, the convenience of the user can be improved to take advantage of this image. 【0031】また、請求項14に記載の発明は、請求項12または13に記載の画像サーバにおいて、画像の撮影情報は、画像が撮影された時の画像を撮影した車両の位置情報および走行速度情報を含み、画像受信手段は、 [0031] Further, an invention according to claim 14, in the image server according to claim 12 or 13, shooting information of the image, the position information and the traveling speed of the vehicle associated with the image when the image was taken includes information, image receiving means,
車両が走行中に撮影した動画像を受信し、動画像の撮影情報の有する車両の走行速度情報、位置情報に基づき、 Receiving a moving image vehicle has taken during traveling, the traveling speed information of the vehicle having the imaging information of a moving image, based on the position information,
動画像の各フレーム毎に撮影されたときの車両の位置を算出することを特徴としている。 It is characterized in that to calculate the position of the vehicle when it is taken for each frame of the moving image. 【0032】これによって、動画像の各フレームとそのフレームを撮影した時の車両の位置が算出されるので、 [0032] Thus, since the position of the vehicle at the time of photographing the frame and each frame of the moving image is calculated,
撮影位置に関する情報をユーザに詳細に配信することができる。 It is possible to deliver detailed information about the shooting position to the user. 【0033】なお、フレームとは、各動画像の1コマの画像と、時系列で連続して撮影された静止画像のそれぞれを含む概念である。 [0033] Note that the frame is a concept including a respective one frame of image and, taken sequentially in time series still image of each moving image. 【0034】また、請求項15に記載の発明は、請求項12ないし14のいずれか1つに記載の画像サーバにおいて、地図情報を備え、画像の撮影情報は、画像が撮影された時の画像を撮影した車両の位置情報を有し、画像配信手段は、地図情報と受信した画像とを、画像が撮影されたときの画像を撮影した車両の位置情報に基づいて連携させ、この連携に基づいたユーザインターフェースとして、ユーザの指定による画像とこの画像の撮影情報とをユーザに配信することを特徴としている。 Further, the invention according to claim 15, in the image server according to any one of claims 12 to 14, comprising a map information, photographic information of the image, the image when the image is photographed the has a positional information of the photographed vehicle image delivering device, and an image received with the map information, the image to cooperate on the basis of the photographing position information of the vehicle when the image was taken, based on the cooperation as a user interface and is characterized in that to distribute the photographic information of the image and the image of the specified user to the user. 【0035】また、請求項16に記載の発明は、請求項15に記載の画像サーバにおいて、画像の撮影情報は、 [0035] The invention of claim 16 is the image server according to claim 15, shooting information of an image,
撮影された画像の撮影方向情報を有し、ユーザインターフェースは、撮影された画像とこの画像の撮影方向情報を併せて表示するようになっていることを特徴としている。 Has a shooting direction information of the captured image, the user interface is characterized in that is adapted to display together shooting direction information of the image and the captured image. 【0036】このようにすることで、画像がどの位置でどの方向を向いていると見えるものなのかがユーザにとって非常にわかりやすくなる。 [0036] By doing so, whether the image of things visible and is facing any direction at any position is very understandable for the user. なお、画像の撮影方向情報とは、通常の画像のように1枚の画像の撮影方向が一定している場合における撮影の方向と、全方位画像やパノラマ画像のように1枚の画像中で撮影方向が一定しない場合における、画像中における位置と、その位置の撮影方向との対応関係と、のいずれをも含む概念である。 Note that the image capturing direction information, the direction of the photographing when the photographing direction of one image as the normal image is constant, in one image as the omnidirectional image and a panoramic image when the imaging direction is not constant, and the position in the image, the corresponding relationship between the photographing direction of the position, is a concept that includes both. 【0037】また、請求項17に記載の発明は、請求項15または16に記載の画像サーバにおいて、地図情報は建造物情報を有し、ユーザインターフェースは、撮影された画像とこの画像に関わる建造物情報を併せて表示するようになっていることを特徴としている。 [0037] The invention of claim 17 is the image server according to claim 15 or 16, the map information has a building information, user interface, built according to the image and the captured image It is characterized in that is adapted to display together things information. 【0038】また、請求項18に記載の発明は、請求項15ないし17のいずれか1つに記載の画像サーバにおいて、画像配信手段がユーザに配信する画像は動画像であり、ユーザインターフェースは、ユーザによって動画像のコマ送りおよび巻き戻しを行うことができるようになっていることを特徴としている。 Further, an invention according to claim 18, in the image server according to any one of claims 15 to 17, the image which the image distributing means is delivered to the user is a moving image, the user interface, it is characterized in that it become possible to perform the frame advance and rewind of the moving image by the user. 【0039】また、請求項19に記載の発明は、請求項16ないし18のいずれか1つに記載の画像サーバにおいて、画像配信手段がユーザに配信する画像は複数の撮影方向の画像を含むパノラマ画像であり、ユーザインターフェースは、ユーザによってパノラマ画像中で指定の撮影方向の画像部分を表示することができるようになっていることを特徴としている。 Further, the panorama the invention according to claim 19, comprising an image server according to any one of claims 16 to 18, the image which the image distributing means distributes the user an image of a plurality of shooting directions an image, the user interface is characterized in that it become possible to display the image portion of the specification of the photographing direction in the panoramic image by the user. 【0040】また、請求項20に記載の発明は、車両に搭載された画像アップロード装置と、ネットワーク上に配置された画像サーバとを備えた画像配信システムであって、画像アップロード装置は、車両に搭載された第1 Further, an invention according to claim 20, an image distribution system comprising an image upload device mounted on a vehicle, and an image server located on a network, the image upload apparatus, the vehicle the first, which is mounted
の無線通信機を介して、車両に搭載されたカメラでの車両の周囲の撮影を行うタイミングの指定を受信する受信手段と、指定された撮影を行うタイミングにおいて撮影を行い、画像と画像の撮影情報とを、画像サーバに第1 Via the wireless communication device performs a receiving means for receiving a specification of timing for shooting around the vehicle with a camera mounted on the vehicle, the imaging at the timing of performing the specified shooting, shooting images and images and information, to the image server first
の無線通信機を介して送信する送信手段と、を有し、画像サーバは、アップロード装置が撮影した当該車両の周囲の画像を無線通信により受信する画像受信手段と、ネットワークを介してユーザから指定の撮影場所における画像の配信の要求を受信し、この要求に基づき、画像アップロード装置が撮影場所に基づく撮影のタイミングで画像を撮影して画像を送信するよう、画像アップロード装置に対して無線通信によって要求し、この要求の応答として画像受信手段が受信した画像をユーザに配信する画像配信手段と、を有することを特徴としている。 Anda transmitting means for transmitting via a wireless communication device, an image server, an image receiving means for receiving image surrounding the vehicle that upload device is captured by wireless communications, designated by the user via the network receiving a request for image delivery in the shooting location, based on the request, so that the image upload device transmits an image by capturing an image at a timing of photographing based on the photographing location, the wireless communication to the image upload device requested, it is characterized by having an image distributing unit for distributing to the user an image in which the image receiving means receives the response of this request. 【0041】これにより、ネットワーク上に配置された画像サーバにおいて、画像配信手段が、ネットワークを介して、ユーザから指定の撮影場所における画像の配信の要求を受け、指定の撮影場所における画像をユーザに配信し、もしユーザの指定の撮影場所における画像を保存していなければ、車両に搭載された画像アップロード装置に対して、この撮影場所に基づく撮影のタイミングで画像を撮影するよう無線通信によって要求する。 [0041] Thus, in the arrangement image server on a network, the image distributing means, via the network, receiving a request for image delivery in the shooting location specified by the user, the user image in the shooting location of the designated delivered, if no save an image in the photographing location of the specified user, the image upload device mounted on a vehicle, is requested by the wireless communications to take an image at a timing of shooting based on the shooting location . 【0042】そして、画像アップロード装置において、 [0042] Then, in the image upload device,
受信手段がこの画像サーバから車両に搭載されたカメラでの撮影を行うタイミングの指定を受信し、また送信手段が指定されたタイミングでこの撮影を行い、撮影された画像とこの画像の撮影情報とを、画像サーバに第1の無線通信機を介して送信する。 Receiving means receives the specification of timing of shooting by a camera mounted from the image server to the vehicle, also performs the shooting at the transmitting means is designated timing, the photographed image and photographic information of the image and transmits via the first wireless communication device to the image server. 【0043】そして、画像サーバにおいて、画像受信手段が、この画像アップロード装置から、この車両によって撮影された画像と画像の撮影情報とを無線通信により受信し、この画像と画像の撮影情報とをユーザに配信するので、車外のユーザの要求に従って、車両の周囲の画像を、ユーザに画像を配信する画像サーバにアップロードすることが可能となる。 [0043] In the image server, the image receiving means, from the image upload device, receives the photographing information of the photographed image and an image by the vehicle by wireless communication, and imaging information of the image and the image the user since delivery to, according to the requirements of the outside of the user, an image around the vehicle, it is possible to upload the image server for delivering an image to a user. 【0044】また、請求項21に記載の発明は、請求項20に記載の画像配信システムにおいて、画像アップロード装置が搭載された車両に搭載されたカメラは、全方位カメラであることを特徴としている。 [0044] The invention of claim 21 is the image distribution system according to claim 20, camera image uploaded device mounted on a vehicle that is mounted is characterized in that an omnidirectional camera . 【0045】また、請求項22に記載の発明は、請求項19に記載の画像配信システムにおいて、送信手段は、 [0045] Further, an invention according to claim 22, in the image distribution system according to claim 19, transmitting means,
全方位カメラによって撮影された画像を展開した後画像サーバに送信することを特徴としている。 It is characterized in that transmitted to the image server after extracting the image taken by the omnidirectional camera. 【0046】一般的に、全方位カメラによって撮影された画像は、展開後の画像が展開前の画像よりもそのファイルサイズが小さくなるので、このように、画像アップロード装置において送信手段が画像の展開を行うようにすることで、画像アップロード装置から画像サーバへのデータ転送量が低減される。 [0046] Generally, an image taken by the omnidirectional camera, since the file size than image before deployment image after development is reduced, thus, sending an image upload device means the deployment of the image by so performing, amount of data transferred from the image upload device to the image server is reduced. 【0047】また、請求項23に記載の発明は、請求項19に記載の画像配信システムにおいて、画像受信手段は、全方位カメラによって撮影された画像を画像アップロード装置から受信した後、この画像を展開して保存することを特徴としている。 Further, the invention according to claim 23, in the image distribution system according to claim 19, the image receiving means, after receiving an image taken by the omnidirectional camera from the image upload apparatus, the image It is characterized in that to save to expand. 【0048】 【発明の実施の形態】(第1実施形態)図2は、本発明の第1実施形態に係る画像配信システムを模式的に示す概念図である。 [0048] PREFERRED EMBODIMENTS (First Embodiment) FIG. 2 is a conceptual view schematically illustrating an image distribution system according to a first embodiment of the present invention. 道路2上を走行している車両1は、自車の周囲360°を撮影することのできる全方位撮影機能と、基地局3と無線通信をする通信機能とを有している。 Vehicle 1 is traveling on a road 2 has a omnidirectional imaging function capable of imaging a 360 ° around the vehicle, a communication function and that the base station 3 and the wireless communication. この車両1は、全方位撮影機能によって撮影した撮影画像6と、この撮影画像6を撮影したときの車両の位置、撮影時刻、撮影時の車両の進行方向(方位)、撮影時の車両1の走行速度等を含む撮影画像6の撮影情報を、基地局3および基地局3が接続する基地局網4を介して画像サーバ5に送信する。 The vehicle 1 includes a photographic image 6 captured by the omnidirectional imaging function, the position of the vehicle at the time of photographing the photographed image 6, shooting time, the traveling direction of the shooting of the vehicle (orientation) of the vehicle 1 at the time of shooting the photographing information of the photographed image 6 including the traveling speed or the like, to the image server 5 via the base station network 4 to the base station 3 and the base station 3 is connected. 画像の撮影情報とは、画像を撮影したときの撮影状況に関する情報である。 The photographic information of the image, which is information on imaging conditions upon shooting images. 撮影画像6は、車両1から見た全方位の映像が、魚眼レンズを通して周囲を見たような映像の形式でひとまとまりになった画像である。 Captured image 6 is omnidirectional image as viewed from the vehicle 1, an image became human unity in the form of video, as viewed ambient through a fisheye lens. この画像は、実際の風景から歪んでいるので、人間にとっては非常に見づらくなっている。 This image, because it distorted from the actual landscape, is very difficult to see is for humans. 【0049】なお、撮影場所とは、撮影画像6を撮影したときの車両の位置、および撮影画像6を撮影したときの撮影対象の位置の両方を含む概念である。 [0049] Note that the shooting location is a concept including both the position of the imaging target upon shooting position, and the captured image 6 of the vehicle when the captured photographed images 6. 後者の撮影対象の位置とは、例えば車両1の直前の道路2である場合もあり、また道路2から直接見える遠方の風景である場合もある。 The position of the latter to be imaged, for example also be a road 2 immediately before the vehicle 1, also in some cases a distant landscape visible directly from the road 2. 【0050】この撮影画像6と撮影画像6の撮影情報とを受信した画像サーバ5は、画像サーバ5が接続する広域ネットワーク(図示せず)を介して接続し、画像の配信を要求するユーザに対して配信画像7および配信画像7の撮影情報を配信する。 The image server 5 which has received the imaging information of the captured image 6 captured image 6 is connected via a wide area network (not shown) to the image server 5 is connected to the user requesting the delivery of the image to deliver the shooting information of an image to be delivered 7 and the distribution image 7 for. この際、画像サーバ5は必要ならば撮影情報に撮影対象の位置の情報を含めておく。 In this case, the image server 5 should include information on the position of the imaging target in imaging information if necessary.
ここで配信画像7は、撮影画像6を人間にとって見易くなるよう画像の歪みを矯正した展開画像である。 Here the delivery image 7 is a developed image obtained by correcting the distortion of the easy viewing so as images captured image 6 for humans. 本明細書においては、この撮影画像6から配信画像7への画像の変換のことを展開と記す。 In the present specification, referred to as a deployment to a transformation of the image into the distribution image 7 from the captured image 6. 【0051】また、車両1は無線通信によって画像サーバ5から撮影を行うタイミングの指定を受信し、この指定通りのタイミングで撮影を行うようになっている。 [0051] Further, the vehicle 1 receives the designation of the timing of capturing the image server 5 via wireless communication, and performs the photographing timing of the specified direction. 撮影を行うタイミングとは、本実施形態においては撮影を行うときの車両1の位置のことである。 A timing of photographing, in the present embodiment is that the position of the vehicle 1 when performing photographing. 車両1がある位置に来たら撮影するということは、車両1がある位置に来た時刻に撮影するということと同じことである。 That to shoot it at the point where there is a vehicle 1 is the same thing as that to shoot in time came to a position where there is a vehicle 1. 【0052】図1は、この車両1内に搭載される、画像の撮影および画像サーバ5への送信を行うための機器の構成のブロック図である。 [0052] Figure 1, this is mounted on the vehicle 1, a block diagram of a configuration of a device for performing photographing and transmitting to the image server 5 of the image. 【0053】これら車両1内の機器は、画像制御コンピュータ10、全方位カメラ21、GPSセンサ22、方位センサ23、速度センサ24、A無線機25、Aアンテナ26、B無線機27、およびBアンテナ28から構成される。 [0053] equipment in these vehicle 1, the image control computer 10, the omnidirectional camera 21, GPS sensor 22, a direction sensor 23, speed sensor 24, A wireless device 25, A antenna 26, B radios 27 and B antenna, It consists of 28. 【0054】全方位カメラ21は、カメラである。 [0054] omnidirectional camera 21 is a camera. このカメラは、本実施形態においては周囲360°全方位の風景を一度に受像し、それら受像した全方位映像を常時出力するカメラである。 The camera in this embodiment is a camera and the image receiving 360 ° around the omnidirectional landscape at a time, and outputs the omnidirectional image that they image receiving constantly. このようなものとしては、特許第2939087号公報に記載の全方位カメラを用いることができる。 As such, it is possible to use omnidirectional camera described in Japanese Patent No. 2939087. 【0055】GPSセンサ22は、GPS衛星から情報を受信することにより、車両1の現在位置を算出し、これを現在位置情報として出力するものである。 [0055] GPS sensor 22, by receiving information from GPS satellites, in which calculates the current position of the vehicle 1, and outputs this as the current position information. 【0056】方位センサ23は、ジャイロスコープを利用して、東西南北等の車両1の現在の向きを検知し、これを方向情報として出力する装置である。 [0056] azimuth sensor 23 utilizes the gyroscope detects the current orientation of the vehicle 1, such as cardinal, a device for outputting this as the direction information. 【0057】速度センサ24は、車両1のタイヤの回転数を検知し、この回転数と経過時間から車両1の走行速度を算出し、これを速度情報として出力するものである。 [0057] speed sensor 24 detects the rotational speed of the tire the vehicle 1, to calculate the traveling speed of the vehicle 1 from the rotational speed and the elapsed time, and outputs this as the speed information. 【0058】A無線機25は、通信データを無線信号に変換し、この無線信号をAアンテナ26からA無線機2 [0058] A radio 25 converts the communication data into a radio signal, A radio 2 from the wireless signal A antenna 26
5の通信システムに対応する基地局に送信するものである。 5 communication system is to transmit to the corresponding base station. なお、このA無線機25の通信システムはPDCである。 The communication system of the A radio 25 is PDC. B無線機27は、通信データを無線信号に変換し、この無線信号をBアンテナ28からB無線機27の通信システムに対応する基地局に送信するものである。 B radio 27 converts the communication data into a radio signal, and transmits the radio signals from B antenna 28 to the base station corresponding to the communication system B radio 27.
なお、このB無線機27の通信システムは無線LANである。 The communication system of the B radio 27 is a wireless LAN. したがって、B無線機27による通信の方がA無線機25の通信に比べて伝送容量が大きく、かつ単位情報あたりの通信コストが割安である。 Therefore, B towards the communication by the radio 27 is larger transmission capacity than the communication A radio 25, and the communication cost per unit information is undervalued. 一方で、PDCの通信エリアに比べて無線LANの通信エリアは狭い。 On the other hand, a narrow communication area of ​​the wireless LAN than the communication area of ​​the PDC. 【0059】画像制御コンピュータ10は、センサ制御部11、画像記録部12、情報処理部13、および通信制御部14から構成される。 [0059] The image control computer 10, the sensor control unit 11, the image recording unit 12, and a processing unit 13, and a communication control unit 14. 【0060】センサ制御部11は、GPSセンサ22、 [0060] The sensor control unit 11, GPS sensor 22,
方位センサ23、および速度センサ24からそれぞれ車両1の現在位置情報、方向情報、速度情報を受信し、これら受信した情報を情報処理部13に出力するものである。 Current position information of the azimuth sensor 23, and the respective vehicle from the speed sensor 24 1, the direction information, receives the speed information, and outputs these received information to the information processing unit 13. このセンサ制御部11は、これら情報の受信および出力を定期的、例えば本実施形態においては数秒程度毎、に行い、さらに情報処理部13からこれらの情報を要求する制御信号を受信することによっても情報の受信および出力を行うようになっている。 The sensor control unit 11 periodically receives and outputs this information, for example, carried out every few seconds, the present embodiment, by further receiving a control signal for requesting the information from the information processing unit 13 and performs the receive and output information. 【0061】画像記録部12は、全方位カメラ21から全方位映像を受信し、これを全方位の動画像として記録し、同時に情報処理部13に出力するものである。 [0061] The image recording unit 12 receives omnidirectional image from the omnidirectional camera 21, which was recorded as a moving image in all directions, and outputs simultaneously to the information processing unit 13. この画像記録部12は、情報処理部13から画像記録の制御信号を受信しているときに、全方位カメラ21から受信した全方位映像を動画像として記録するようになっている。 The image recording unit 12, when receiving the control signal of the image recording from the information processing unit 13 is adapted to record an omnidirectional video received from the omnidirectional camera 21 as a moving image. 【0062】情報処理部13は、撮影を行うときの車両1の位置の指定を通信制御部14から受信し、その指定の情報を図示しないメモリに保存するようになっている。 [0062] The information processing unit 13 is adapted to receive from the communication control unit 14 to the specified position of the vehicle 1 when performing shooting, and stores in a memory (not shown) the designation information. またこのメモリ中には、設計時に設定された撮影のための定期的な時刻や決まった位置の指定も保存されている。 Also during this memory, also specify a regular time and fixed position for the shooting, which is set at design time is saved. また情報処理部13は、センサ制御部11からG The information processing unit 13, G from the sensor control unit 11
PSセンサ22発の現在位置情報を定期的に受信し、またメモリからこのメモリ中に保存されている指定の情報を読み込み、車両1の現在位置と指定の位置とを比較するようになっている。 The current position information of the PS sensor 22 shots periodically receives and reads the specified information stored from the memory in the memory, adapted to compare the position of the specified current position of the vehicle 1 . そして情報処理部13は、車両1 Then, the information processing unit 13, the vehicle 1
が指定の位置に近づいたときから指定の位置から所定の距離だけ離れるまでの期間、および指定の時刻に近づいたときから指定の時刻を所定の時間だけ経過するまでの期間、画像記録部12に画像記録の制御信号を出力し、 There period from a specified position from the time it approaches the designated position to a separated a predetermined distance, and the period from when approaching the designated time period until a specified time by a predetermined time, the image recording section 12 It outputs a control signal of the image recording,
画像記録部12から動画像を受信するようになっている。 It adapted to receive the moving image from the image recording unit 12. この動画像の受信は、全方位カメラ21による撮影である。 Reception of the moving image is captured by the omnidirectional camera 21. 【0063】また情報処理部13は、上記の撮影の期間中に複数回、例えば数秒毎に、センサ制御部11に現在位置情報、方向情報、および速度情報を要求する制御信号を出力し、この制御信号に基づいてセンサ制御部11 [0063] The information processing unit 13, a plurality of times during the shooting, for example, every few seconds, the current position information to the sensor control unit 11 outputs a control signal for requesting the direction information, and the speed information, the sensor control unit 11 based on the control signal
が出力したこれらの情報を受信するようになっている。 There has been adapted to receive the information outputted.
そして、これら受信した情報から、各時間における時刻、現在位置情報、方向情報、および速度情報を含む画像の撮影情報を作成する。 From these received information, the time at each time, current position information, to create a photographic information of the image including the direction information, and speed information. なお、本実施形態においては、撮影される画像は全方位の画像であるので、作成された画像の撮影情報中の方向情報は、全方位の画像の中央部分、すなわち車両から見た前方部分、がどの方向に対応しているかの情報となっている。 In the present embodiment, since the image captured is the omnidirectional image, direction information in the imaging information of the image created, the central portion of the omnidirectional image, i.e. forward portion, as viewed from the vehicle, There has been made whether the information was supported in any direction. 【0064】情報処理部13が作成する画像の撮影情報の一例を図3に示す。 [0064] An example of the imaging information of the image information processing section 13 creates in FIG. この作成情報は、ブラケットで囲まれた、データの属性を示す文字列であるタグと、タグによって属性付けられたデータとから成る。 The creation information, enclosed in brackets, made of a tag is a character string that indicates the attribute of the data, an attribute Tagged data by a tag. <pict <Pict
ure>タグと</pictutre>タグに囲まれた領域は、この画像の撮影情報が対応する画像の識別のための情報が格納される。 ure> tag and </ pictutre> area surrounded by tags, information for imaging information of the image of the identification of the corresponding image is stored. <name>〜</name> <Name> ~ </ name>
間は、対応する画像のファイル名を示している。 During shows the file name of the corresponding image. ### ###
#は、<lowerindex>〜</lowerin # Is, <lowerindex> ~ </ lowerin
dex>間の数字から<upperindex>〜</ dex> from a number between <upperindex> ~ </
upperindex>間の数字までの数字が連番で入ることを示す。 The numbers up to number between upperindex> indicates that enter in the serial number. すなわちこの部分は、この画像の撮影情報が対応する画像はcapture0001. That this part, the image capturing information of the image to correspond Capture0001. jpgからcapture0030. capture0030 from jpg. jpgまでの連続静止画像、すなわち動画像、であることを示している。 Continuous still images up jpg, that is, indicates a moving image. 【0065】<information>タグと</i [0065] <information> tag and </ i
nformation>タグに囲まれた領域は、この画像が撮影されたときの車両1の現在位置情報、時刻、方向情報、および速度情報が格納される。 nformation> region surrounded by the tags, the current position information of the vehicle 1 when the image was taken, the time, direction information, and speed information is stored. <place> <Place>
〜</place>間には、<longitude>〜 ~ </ Place> between, <longitude> ~
</longitude>間に示される緯度、および< </ Longitude> Latitude shown between, and <
latitude>〜</latitude>間に示される経度から成る現在位置情報が格納される。 latitude> ~ </ latitude> current position information consisting of longitude shown between are stored. 図3においては、画像が撮影されたときの現在位置情報は統計1 In FIG. 3, the current position information obtained when the image was taken is statistically 1
35°23′15.1″、北緯35°19′23″であることを示している。 35 ° 23'15.1 indicates that it is a "north latitude 35 ° 19'23". 【0066】<time>〜</time>間には、< [0066] in between <time> ~ </ time> is <
date>〜</date>間に示される日付、および<localtime>〜</localtime>間に示される地方時から成る時刻の情報が格納される。 date> ~ </ date> date shown between, and <localtime> ~ </ localtime> time of information consisting of local time to be shown in between will be stored. 図3においては、撮影されたときの時刻は2002年2月1日10時10′38.101秒JSTであることを示している。 In FIG. 3, the time when it was taken shows that it is a 10'38.101 seconds JST 10 o'clock on February 1, 2002. 【0067】<direction>〜</direc [0067] <direction> ~ </ direc
tion>間には、方向情報が方位角で示される。 tion> Between the direction information indicated by azimuth. 図3 Figure 3
においては、撮影された画像の中央部は、車両1から見て方位95°20′0″の方向であることを示している。 【0068】<speed>〜</speed>間には、速度情報が示される。図3においては、撮影されたときの車両1の速度は85.10km/hであることを示している。 【0069】<frame>〜</frame>間には、上に記載された情報が画像中のどの静止画像、すなわちフレーム、に対応するかを示すフレーム番号の情報が格納される。また、この</frame>のタグは、 In the central portion of the captured image shows that when viewed from the vehicle 1 in the direction of the azimuth 95 ° 20'0 ". [0068] During <speed> ~ </ speed>, the speed information is shown in. FIG. 3, the speed of the vehicle 1 when taken indicates that it is 85.10km / h. [0069] during <frame> ~ </ frame> is above the the described information which the still image in the image, or frame, information of a frame number that indicates the corresponding is stored. the tag of </ frame> is
1つのフレームに関する情報の終了を示すタグでもある。 It is also a tag indicating the end of information about a single frame. すなわち、このタグ以降に記載される情報は、以降のフレームに関する情報となる。 That is, the information described after this tag is information about the subsequent frame. このように、1まとまりの連続静止画像(動画像)の撮影情報が複数ある場合は、</frame>のタグで区切られる複数の情報がまとめられて1つの画像の撮影情報となる。 Thus, if the photographic information 1 group of consecutive still images (moving images) there is a plurality, a photographic information </ frame> plurality of information gathered by one image delimited by tags. 【0070】また情報処理部13は、撮影した動画像から上記した中央の時刻において撮影された部分と、受信した画像の撮影情報に撮影時刻を含めたものとを、通信データとして通信制御部14に送信するようになっている。 [0070] The information processing unit 13, a photographing portion in the middle of the time described above from the moving images, and those including shooting time photographing information of the received image, communication control unit 14 as communication data It is adapted to transmit to. なお情報処理部13は、この通信データに、A無線機25を介してこの通信データを送信するよう指定する情報も含めるようになっている。 Note the information processing unit 13, to the communication data, so that via the A radio 25 also include information specifying to transmit the communication data. なお、この動画像から上記した中央の時刻において撮影された部分を選ぶのは、撮影の期間中の中央の時間帯に撮影された画像は、 Note that choosing the taken part in the middle of the time when the above from the moving image, captured image to the time zone of the central during the shooting,
その動画像の代表的な部分であるという意図があるからである。 There is a intention is representative portion of the moving image. 例えば、交差点への進入前から退出後までの動画像を撮影する場合、ちょうど交差点の中央部にさしかかった頃が中央の時間帯となる。 For example, when shooting a moving image from the previous entry into the intersection until after the exit, when I was just approaching the center of the intersection is the time zone of the center. この中央部での撮影画像は、全方位カメラ21による撮影によって交わる通りの遠くまで見通すことができる。 Photographed image at the central portion can be seen through to the distant street intersection by photographing by the omnidirectional camera 21. 【0071】また情報処理部13は、撮影した動画像から、上記の通信データに含めた画像以外の残りの部分を通信データとして通信制御部14に送信するようになっている。 [0071] The information processing unit 13, the moving images, and transmits to the communication control unit 14 of the remaining portion other than the image, including the above communication data as communication data. また情報処理部13は、この通信データに、B The information processing unit 13, to the communication data, B
無線機27を介してこの通信データを送信するよう指定する情報を含めるようになっている。 Via the radio 27 is adapted to include information for specifying to transmit the communication data. ただし、通信制御部14がB無線機27を介してこの通信を行うことができない場合は、通信制御部14からその旨の通知を受けるようになっている。 However, if the communication control unit 14 can not perform the communication via the B radio 27 is made from the communication control unit 14 to be notified to that effect. このようにB無線機27を介して通信データを送信することができないという通知を受けた場合、情報処理部13はNmax回(Nmaxは自然数)B無線機27から通信を行うための通信制御部14 When receiving a notification that this way is not possible to transmit communication data over the B radio 27, the information processing unit 13 Nmax times (Nmax is a natural number) B radio 27 communication control unit for performing communication from 14
への通信データ送出を繰り返し、それでも通信ができない旨の通知を受信すればこの通信データの送信を中止するようになっている。 Repeating the communication data transmission to, but still so as to stop transmission of the communication data when receiving the notification that can not communicate. 【0072】通信制御部14は、A無線機25およびB [0072] The communication control unit 14, A wireless device 25 and B
無線機27を制御し、基地局および基地局ネットワークに接続し、画像サーバ5とデータ通信をおこなうようにする装置である。 It controls radio 27, the base station and connected to the base station network, a device to perform the image server 5 and the data communication. また通信制御部14は、A無線機25 The communication control unit 14 also, A radio 25
から画像サーバ5発の撮影を行うときの車両1の位置の指定を受信し、それを情報処理部13に出力するようになっている。 Receiving a designation of position of the vehicle 1 when performing shooting of the image server 5 shots from, and outputs to the information processing unit 13 it. また通信制御部14は、このデータ通信によって情報処理部13から無線送信のために受信した画像や画像の撮影情報といった通信データを画像サーバ5 The communication control unit 14, the image server 5 to communicate data such as photographing information of the received image and the image for the wireless transmission from the information processing unit 13 by the data communication
に送信するとき、この通信データに含まれたどの無線機を介して送信するかの指定に従い、A無線機25またはB無線機27のいずれかにこの通信データを出力するものである。 When sending to, in accordance with designation of transmission over any radio included in the communication data, and outputs the communication data to one of the A radio 25 or B radio 27. また通信制御部14は、B無線機27に通信データを出力することによる画像サーバ5への送信ができるか否かをB無線機27の受信レベルによって検知できるようになっており、通信できない場合は、情報処理部13にその旨を通知できるようになっている。 The communication control unit 14 also is adapted to whether it is sent to the image server 5 by outputting the communication data into B radio 27 to be detected by the receiving level of the B radio 27, if unable to communicate It is enabled to notify the information processing unit 13. また通信制御部14は、A無線機25がPDCの基地局から受信した画像サーバ5発の無線信号から変換した通信データを受信し、情報処理部13に出力するようになっている。 The communication control unit 14 also, A radio 25 is adapted to receive the communication data converted from the radio signals of the image server 5 shots received from the base station of the PDC, and outputs to the information processing unit 13. この画像サーバ5発の無線信号とは、例えば画像制御コンピュータ10が撮影を行うタイミングの指定のための無線信号である。 The image server 5 shots of the radio signals, for example, the image control computer 10 is a radio signal for specifying the timing for photographing. 【0073】図4は、以上のような構成の車両1の情報処理部13が全方位カメラ21で画像を撮影して画像サーバ5に送信するために行う処理を示すフローチャートである。 [0073] Figure 4 is a flowchart showing the processing performed for the information processing unit 13 of the vehicle 1 configured as described above is transmitted to the image server 5 by capturing the image with the omnidirectional camera 21. 以下このフローチャートにもとづいて情報処理部13の具体的な作動を説明する。 Below based on this flow chart illustrating a specific operation of the information processing unit 13. ただし、ステップ4 However, step 4
45および450の処理は通信制御部14が行うものである。 Processing 45 and 450 are those communication control unit 14 performs. なおこの処理以前に情報処理部13はあらかじめ画像サーバ5発の撮影を行うときの車両1の位置の指定を通信制御部14から受信し、メモリに保存している(ステップ400)。 Incidentally it receives the designation of position of the vehicle 1 when performing this process previously to the information processing unit 13 in advance image server 5 shots captured from the communication control unit 14, and stored in the memory (step 400). このような状態において車両1が走行しているとき、車両1は定期的な処理としてセンサ制御部11からGPSセンサ22発の現在位置情報を取得する(ステップ401)。 When the vehicle 1 is traveling in such a state, the vehicle 1 obtains the current position information from the sensor control unit 11 of the GPS sensor 22 shots as regular processing (step 401). 【0074】次に情報処理部13は、メモリからこのメモリ中に保存されている指定の情報を読み込む(ステップ405)。 [0074] Then the information processing unit 13 reads the designation information stored from the memory in the memory (step 405). 【0075】そしてステップ410で情報処理部13 [0075] Then, the information processing unit 13 in step 410
は、ステップ401とステップ405で取得したこの車両1の現在位置と指定の撮影位置とを比較するようになっている。 It is adapted to compare the current position specified imaging position of the vehicle 1 obtained in step 401 and step 405. そして情報処理部13は、車両1が指定の位置から所定の距離に近づいたか否かの判定によって、全方位カメラ21による撮影を始めるべきか否かを判定する。 Then, the information processing unit 13, the determination of whether the vehicle 1 has approached the designated position at a predetermined distance, determines whether or not to start recording by the omnidirectional camera 21. また、メモリ中の指定に撮影の時刻の指定があれば、その時刻から所定の時間前になったか否かの判定によって、全方位カメラ21による撮影を始めるべきか否かを判定する。 Furthermore, if specified time of shooting the designated in the memory, the determination of whether it is from the time before the predetermined time, determines whether to start recording by the omnidirectional camera 21. この判定処理は、撮影を始めるべきであると判定するまで繰り返される。 This determination process is repeated until it is determined that it should start recording. 【0076】撮影を始めるべきであると判定すると、情報処理部13は全方位カメラ21による撮影を開始し、 [0076] When it is determined that it should start recording, the information processing unit 13 starts the imaging by the omnidirectional camera 21,
また撮影の間複数回センサ制御部11から現在位置情報、方向情報、および速度情報等を受信する。 Current position information from a plurality of times the sensor control unit 11 during the shooting also receives directional information, and speed information. (ステップ415)。 (Step 415). 【0077】そして車両1が指定の撮影の位置から所定の距離だけ離れるか、あるいは指定の撮影の時刻から所定の時間だけ経過するかによって撮影が終了すると、処理はステップ420に移り、情報処理部13はこの撮影期間の中央の時間帯に撮影された画像を抽出する。 [0077] When the whether the vehicle 1 is separated by a predetermined distance from the position of the specified imaging, or taken from the time of designation of the imaging depending elapsed predetermined time is completed, the process moves to step 420, the information processing unit 13 extracts the captured image to the time zone of the center of the shooting period. そして情報処理部13はセンサ制御部11から受信した現在位置情報、方向情報、および速度情報等から画像の撮影情報を作成し(ステップ425)、抽出した画像と作成した画像の撮影情報とをまとめ(ステップ430)、A Then, the information processing unit 13 collectively current position information received from the sensor control unit 11, the direction information, and creates a shooting information of the image from the speed information or the like (step 425), and imaging information of the extracted image and the image created (step 430), A
無線機25を介してこの画像と画像の撮影情報を画像サーバ5に送出するように通信データを作成し、この通信データを通信制御部14に送信する(ステップ43 Via wireless transmission 25 creates communication data to deliver the photographic information of the image and the image in the image server 5, transmits the communication data to the communication control unit 14 (Step 43
5)。 5). 【0078】次に、以降のステップで使用するための変数nを1に初期化し(ステップ440)、撮影した動画像からステップ420で抽出した画像を取った残りの部分をB無線機27を介して画像サーバ5に送出するように通信データを作成し、この通信データを通信制御部1 [0078] Then, initialized to 1 a variable n for use in the subsequent step (step 440), the rest took images extracted in step 420 from the captured moving image through the B radio 27 create a communication data to be sent to the image server 5 Te, the communication control unit 1 to the communication data
4に送信する。 To send to the 4. ここで通信制御部14は、この通信データを受け取り、この通信データに含まれた情報からこの通信データがB無線機を介して送信するべきものであることを判定する。 The communication control unit 14 in this case determines that the received communication data, the communication data from the information contained in the communication data is intended to be transmitted via a B radio. そして、B無線機27が使用可能か否かをB無線機27の受信レベル検知により判定する(ステップ445)。 It is determined by the reception level detection of B radios 27 B radio 27 whether it is possible to use (step 445). B無線機27が使用可能であると通信制御部14が判定すれば、処理はステップ450に移り、通信制御部14は情報処理部13が受信した通信データをB無線機27を用いて送信する。 If judging the communication control unit 14 and the B radio 27 is available, the process proceeds to step 450, the communication control unit 14 transmits using the B radio 27 communication data processing section 13 has received . そして処理はステップ401の定期的な処理に戻る。 Then, the processing returns to the regular processing of step 401. 【0079】B無線機27が使用可能でないと通信制御部14が判定すれば、通信制御部14は、情報処理部1 [0079] If B radio 27 communication control unit 14 and is not available the determination, the communication control unit 14, the information processing unit 1
3へB無線機27による通信ができない旨を通知する。 3 to be notified can not communicate by B radio 27.
そして処理はステップ455に移り、この通知を受信した情報処理部13は変数nを1つインクリメントする。 Then the process moves to step 455, the information processing section 13 having received this notification, increments the variable n.
次に情報処理部13は、この変数nが所定値Nmaxを越えているか否か判定し、越えていなければ直前のステップ435のときと同じ通信データを通信制御部14に送信することで、処理をステップ445に戻す。 Next, the information processing unit 13, by the variable n is judged whether exceeds a predetermined value Nmax, to the communication control unit 14 of the same communication data as in the immediately preceding step 435 if not exceeded, processing It returns to step 445. すなわち、B無線機27が利用可能となるか、あるいはnがN I.e., B radio 27 is available, or n is N
maxを越えるかのいずれかとなるまで情報処理部13 The information processing unit until either the exceeding max 13
および通信制御部14はB無線機27に通史データを送信しようとする。 And a communication control unit 14 will attempt to send via through-data to B radio 27. 【0080】ステップ460で情報処理部13がnがN [0080] The information processing unit 13 at step 460 n is N
maxを越えていると判定すれば、情報処理部13はB If determined that exceeds the max, the information processing unit 13 B
無線機27から通信データを送信することをあきらめ、 Give up transmitting the communication data from the wireless device 27,
処理をステップ401の定期的な処理に戻す。 The process returns to regular processing in step 401. 【0081】このような処理により、画像サーバ5からの指定または設置時の設定に基づいて車両1で撮影された画像が画像サーバ5に送信されるようになる。 [0081] By such processing, the photographed image is to be transmitted to the image server 5 in the vehicle 1 based on the specified or installation-time configuration of the image server 5. 【0082】図5は、上記した車両1の各機器を含む画像配信システムの構成を示すブロック図である。 [0082] Figure 5 is a block diagram showing the configuration of an image distribution system including each device of the vehicle 1 described above. この画像配信システムは、車両1のAアンテナ26とPDCによって通信を行うA無線機基地局31、Bアンテナ28 The image distribution system, A radio base station 31 that communicates with the A antenna 26 and PDC of the vehicle 1, B antenna 28
と無線LANによって通信を行うB無線機基地局32、 And B radio base station 32 that communicates with a wireless LAN,
これらの基地局の参加する有線ネットワークである基地局網33、この基地局網33に接続する画像サーバ5、 The base station network 33 is a wired network to join these base stations, the image server 5 connected to the base station network 33,
この画像サーバ5と基地局網34を介して接続する基地局35および固定ユーザ36、基地局35と無線通信を行う車内ユーザ37から構成される。 The image server 5 and the base station 35 and the fixed user 36 connected via the base station network 34, and a base station 35 and the vehicle user 37 performing wireless communication. 【0083】固定ユーザ36は、オフィスや家庭に設置された端末および端末を操作するユーザであり、このコンピュータは基地局網34経由で画像サーバ5を相手に画像および画像の撮影情報の要求、受信等を行うことができるようになっている。 [0083] fixed user 36 is a user who operates the installed terminals and terminal offices and homes, the computer requests the photographic information of the image and image an image server 5 to the other party via the base station network 34, the received so that the can be carried out, and the like. 【0084】車内ユーザ37は、自動車内に設置された端末および端末を操作するユーザであり、このコンピュータは基地局35および基地局網34経由で画像サーバ5を相手に画像および画像の撮影情報の要求、受信等を行うことができるようになっている。 [0084] vehicle user 37 is a user who operates the installed terminals and terminals in a motor vehicle, the computer of the image server 5 of the imaging information of the image and the image to the other party via the base station 35 and base station network 34 request, thereby making it possible to perform reception or the like. 【0085】画像サーバ5は、基地局網33、A無線機基地局31、およびB無線機基地局32を介して車両1 [0085] The image server 5, the vehicle 1 via the base station network 33, A radio base station 31 and B radio base station 32,
から画像および画像の撮影情報を受信して保存する処理を行う装置である。 An apparatus for performing a process of receiving and storing imaging information of the image and the image from which. また画像サーバ5は、基地局網34 The image server 5, the base station network 34
を介して固定ユーザ36と、また基地局網34、基地局35を介して車内ユーザ37と通信を行い、これら固定ユーザ36および車内ユーザ37から保存する画像および画像の撮影情報のリスト問い合わせを受信しそれに基づいてリストを固定ユーザ36および車内ユーザ37に返信するようになっている。 A fixed user 36 through, also communicates with the vehicle user 37 via the base station network 34, the base station 35, receiving a list query photographic information of the image and image saving from these fixed user 36 and vehicle users 37 and it is adapted to return to the fixed user 36 and vehicle user 37 lists accordingly. また画像サーバ5は、これら固定ユーザ36または車内ユーザ37から指定の撮影場所における画像とこの画像の撮影情報とを配信するよう要求する信号を受信するようになっている。 The image server 5 is adapted to receive a signal for requesting to deliver the photographic information of the image and the image in the specified shooting location from these fixed user 36 or vehicle user 37. なお、撮影場所とは、画像を撮影したときの車両1の位置、および画像を撮影したときの撮影対象の位置の両方を含む概念である。 Incidentally, the shooting location, the position of the vehicle 1 when the image was captured, and is a concept including both the position of the imaging subject when capturing images. 後者の撮影対象の位置とは、例えば図2における車両1の直前の道路2である場合もあり、また道路2から直接見える遠方の風景である場合もある。 The position of the latter to be imaged, for example also be a road 2 immediately before the vehicle 1 in FIG. 2, also in some cases a distant landscape visible directly from the road 2. また、 Also,
撮影対象の特定には撮影の方向や時刻の情報が用いられていてもよい。 The specific imaging target may also be used and information on the direction and time of shooting. 【0086】また画像サーバ5は、この要求の受信に応じて画像と、画像の撮影情報に撮影場所の情報を含めたものを配信する。 [0086] The image server 5, an image in response to receiving the request, distributes those containing information of the shooting location in the image capturing information. 画像サーバ5は、この要求された画像を保存していなければ、車両1と同様の機器を備えた車両から適当な車両を選び、この要求された撮影場所に基づく撮影のタイミングで画像を撮影するよう、この車両に無線信号を送信することによって要求するものである。 Image server 5, unless save this requested image, select the appropriate vehicle from the vehicle having the same equipment as the vehicle 1, takes an image at a timing of photographing based on the requested shooting location as is to request by sending a radio signal to the vehicle. 【0087】この画像サーバ5は、このような処理を行うための処理装置(図示せず)を有し、この処理装置で各種機能を有するプログラムを実行するようになっている。 [0087] The image server 5 has a processing device for performing such a process (not shown), and executes the program having the various functions in the processing apparatus. 各プログラムはそれぞれ並列的に実行され、それぞれの間でデータの受け渡しを行うようになっている。 Each program is executed in parallel, respectively, and performs the transfer of data between each. 【0088】また画像サーバ5は、このような処理のために利用する情報が記録されたデータベースを有している。 [0088] The image server 5 includes a database on which information is recorded utilizing for such treatment. 具体的には、撮影画像データベース51、データベース読み出し・情報処理プログラム52、および運行路線データベース53を有している。 Specifically, the captured image database 51 has a database read-information processing program 52 and transit line database 53,. 【0089】撮影画像データベース51は、車両から受信した画像および画像の撮影情報を記録している。 [0089] captured image database 51 records the photographic information of the image and the image received from the vehicle. これらの画像および画像の撮影情報は、画像が撮影された撮影時刻あるいは撮影場所別に整理して保存されている。 Photographic information of these images and the image, the image is stored in organized by photographed shooting time or shooting location.
ただし、この撮影画像データベース51に記録される画像は、後述する処理によって撮影画像6から配信画像7 However, an image recorded in the photographic image database 51, the distribution image from the captured image 6 by processing to be described later 7
へと展開されている。 They are deployed to. 【0090】地図情報データベース52は、地名、道路の位置および車線の形状、建造物情報を有する地図情報を記録している。 [0090] map information database 52, place names, the shape of the position and lane roads, are recorded map information including building information. 建造物情報とは、駐車場名や店舗名等の建造物の名称、建造物の所有者名、電話番号、e−m The building information, parking name and store the name of the building, such as name, name of the owner of the building, telephone number, e-m
ailアドレス、建造物に関するホームページアドレス、建造物の所在地コード、建造物の広告、キャッチコピー、その他建造物に関わる固有の情報等のことである。 ail address, home address for the building, the location code of the building, advertising, catch copy of the building, is that such specific information relating to the other buildings. 【0091】運行路線データベース53は、例えば定期路線バスや運送会社の定期配送トラック等、あらかじめ決められた経路、決められたダイヤに従って運行する車両で、車両1のような画像撮影および送信の機能を有したものについての、時刻と走行位置とを対応づける運行スケジュールを記録している。 [0091] transit line database 53 is, for example regular route bus and transportation company of the regular delivery truck or the like, a predetermined path, the vehicle that runs in accordance with-determined timetable, the function of the image capturing and transmission, such as a vehicle 1 for those having records the associating operation schedule and time and travel position. これら運行スケジュールが決まった車両を撮影に利用すれば、要求された画像を撮影させる車両を選ぶときの判断基準となるので、効率よく画像の撮影および配信を行うことができるようになる。 By using a vehicle such operation schedule is determined for photographing, since a criterion when choosing a vehicle for photographing a requested image, it is possible to perform photographing efficiently image and distribution. 【0092】上述したプログラムは、これらのデータベースを利用するようになっている。 [0092] The program described above is adapted to use these databases. 画像サーバ5の処理装置がロードして実行するプログラムとして、画像サーバ5は、データベース読み出し・情報処理プログラム5 As a program to be executed by processor load of the image server 5, the image server 5, the database readout and information processing program 5
4、撮影指令送信プログラム55、撮影情報処理プログラム56、ユーザ向けデータ配信プログラム57、画像変換プログラム58、および車両データ受付プログラム59を備えている。 4, and a shooting command transmission program 55, the photographic information processing program 56, user-friendly data delivery program 57, an image conversion program 58 and vehicle data reception program 59,. 【0093】図6は、このような画像配信システムにおいて、画像サーバ5が車両1から受信した画像および画像の撮影情報を保存し、固定ユーザ36および車内ユーザ37、からの画像および画像の撮影情報の配信の要求に応じてこれらを配信する等の処理を、画像サーバ5と車両1および固定ユーザ36、車内ユーザ37との通信を基にして示すタイミングチャートである。 [0093] Figure 6, in such an image distribution system, an image server 5 saves the shot information of the image and the image received from the vehicle 1, the imaging information of the image and the image from the fixed user 36 and vehicle user 37, processing such as distributing them in response to the delivery request to the image server 5 and the vehicle 1 and the fixed user 36 is a timing chart showing based on communication with the vehicle the user 37. 【0094】以下、これらのプログラムの作動を、固定ユーザ36または車内ユーザ37からの画像および画像の撮影情報の配信の要求を画像サーバ5が受信して、当該画像および画像の撮影情報を要求に応じて配信する処理の順序に沿って説明し、それによって個々のプログラムおよび画像サーバ5全体の作動を明らかにする。 [0094] Hereinafter, the operation of these programs, a request for delivery of the image and the image capturing information from the fixed user 36 or vehicle user 37 image server 5 is received, the request imaging information of the image and the image depending described in the order of processing for distributed, thereby revealing the overall operation of individual programs and image server 5. なお、以下の説明においては固定ユーザ36、車内ユーザ37を総称してユーザと記す。 Incidentally, referred to as a user are collectively fixed user 36, vehicle user 37 in the following description. 【0095】車両1は、撮影および撮影した画像および画像の撮影情報を画像サーバ5に送信するための機器の設置時に、システム管理者等によって定期的に撮影すべき場所や時刻の設定をされる(ステップ505)。 [0095] The vehicle 1, when installing the apparatus for transmitting imaging information of the photographer and the photographed image and the image in the image server 5, is regularly set in place and time to be taken by the system administrator or the like (step 505). この設定は車両1のメモリに指定の場所や時刻を記録することで行われる。 This setting is performed by recording the specified location and time in the memory of the vehicle 1. そして情報処理部13はこの設定に従い定期的に画像を撮影し、A無線機基地局31、B無線機基地局32、および基地局網33を介して画像サーバ5 Then, the information processing unit 13 periodically captures an image in accordance with this setting, the image server 5 via the A radio base station 31, B radio base station 32 and the base station network 33,
に撮影した画像と作成した画像の撮影情報とを送信する(ステップ510)。 It transmits the imaging information of the image created and recorded images (step 510). 【0096】画像サーバ5の車両データ受付プログラム59は、これら送信された画像と画像の撮影情報とを受信するようになっている。 [0096] vehicle data reception program 59 of the image server 5 is adapted to receive the imaging information of the transmitted image and the image. 車両データ受付プログラム5 Vehicle data acceptance program 5
9はこれらを受信すると(ステップ515)、受信した画像を画像変換プログラム58に送信し、受信した画像の撮影情報を撮影情報処理プログラム56に送信する。 9 sends receives these (step 515), the received image into the image conversion program 58, and transmits the photographing information of the received image to the photographic information processing program 56. 【0097】画像変換プログラム58は、車両データ受付プログラム59から画像を受信し、それを展開し、展開した画像をデータベース読み出し・情報処理プログラム54に送信するプログラムである。 [0097] Image conversion program 58 receives the image from the vehicle data reception program 59, expand it, is a program for transmitting the image obtained by developing the database read-information processing program 54. 情報処理部13が撮影して車両データ受付プログラム59が受信した画像は図2の撮影画像6のような全方位画像である。 Image vehicle data reception program 59 information processing unit 13 is taken receives is omnidirectional images such as photographic images 6 of FIG. このような全方位画像は、上記したように実際の風景が歪んだものとなっており、人間にとっては見づらく、扱いづらいものである。 Such omnidirectional image, has become distorted the actual landscape as described above, difficult to read for humans, are those difficult to handle. そこで、人間が視覚的に扱いやすくなるように、配信画像7のような実際の風景通りの画面比率の画像に変換するようになっている。 Therefore, human beings are so so as to be easier to handle visually, be converted into an image of the screen ratio of the actual landscape Street, such as the distribution image 7. この画像の変換は画像の展開と呼ばれる。 This conversion of the image is called the expanded image. 発明者の検討によれば、展開後の画像のファイルサイズは展開前の画像のファイルサイズよりも大きくなる。 According to the inventor's study, the file size of the image after expansion is larger than the file size of the pre-deployment image. これは、図2に示した撮影画像6 This photographed image shown in FIG. 2 6
のように、展開前の画像には中心および4隅に実際の風景と無関係な不要部分が存在するので、これを除去することによって展開後の画像の情報量が少なくなることが原因の1つである。 As in, since the image actual scenery and irrelevant unnecessary part in the center and four corners in the predeployment present, one of the causes that the information amount of the image after development is reduced by removing this it is. また、展開前の画像と展開後の画像をJPEG形式で圧縮して保存する場合を発明者が実測した結果、展開前の600x450ピクセル、100K As a result of the inventors the case of storing by compressing the image after expansion and prior to deployment images in JPEG format have been measured, the pre-deployment 600x450 pixels, 100K
Bの画像が、展開後には1370x170ピクセルの2 Image B is 2 1370x170 pixels after expansion
5KBの画像となり、1/4のファイルサイズ低減となった。 Becomes the image of 5KB, it became a file size reduction of 1/4. 【0098】撮影情報処理プログラム56は、車両データ受付プログラム59から画像の撮影情報を受信し、これに対して所定の処理を行い、処理の結果の情報をデータベース読み出し・情報処理プログラム54に送信するようになっている。 [0098] the photographic information processing program 56 receives the imaging information of the image from the vehicle data reception program 59, performs a predetermined process on this, transmits the information of the processing result to the database read-information processing program 54 It has become way. 所定の処理とは、例えば画像の撮影情報の補間である。 The predetermined processing, such as interpolation of the image capturing information. 先に説明したように、情報処理部1 As described above, the information processing unit 1
3は動画像の撮影を行っている期間中、複数回画像の撮影情報を取得して撮影する。 3 during the period of performing photographing of a moving image is captured to obtain the captured information of a plurality of times images. しかし、この画像の撮影情報の取得はGPSによる位置測定も含まれているので、 However, since the acquisition of the image capturing information is also included position measurement by GPS,
現実的には取得の回数に制限があり、動画像のように例えば1秒間30フレームで撮影される画像の1フレーム毎に対応して画像の撮影情報を取得するようなことは難しい。 In reality there is a limit to the number of acquisition, it is difficult, such as to obtain the photographic information of the image corresponding to each frame of the image captured by for example 30 frames per second as a moving image. そこで、撮影の間に取得する画像の撮影情報は、 Therefore, shooting information of the image to be obtained during shooting,
撮影のフレーム数より少なくし、後にこの画像の撮影情報を基に、各フレーム毎に対応する位置情報、方向情報等を補完して算出するようにする。 Less than the number of frames photographed, later on the basis of the imaging information of the image, position information corresponding to each frame, so as to calculate complement the direction information and the like. これが画像の撮影情報の補間である。 This is the interpolation of the shooting information of the image. 撮影情報処理プログラム56はこの補間を行うためにデータベース読み出し・情報処理プログラム54に地図情報を送信するよう要求し、それに応じてデータベース読み出し・情報処理プログラム54から送信された地図情報を受信する。 Photographic information processing program 56 is requested to transmit the map information to the database read-information processing program 54 for performing this interpolation, it receives the map information transmitted from the database read-information processing program 54 accordingly. 補間の処理の流れを模式的に示したものが図7である。 That the flow of the processing of the interpolation is schematically shown in FIG. 【0099】図7(a)は、受信した地図情報から、画像の撮影情報中の位置情報を含むエリアを抜き出して表示した地図である。 [0099] FIG. 7 (a), from the received map information, a map displayed by extracting the area including the position information in the imaging information of the image. この地図中では交差点と、交差点に繋がる道路の車線の形状が示されている。 This and intersections in the map, there is shown the shape of the lane of a road leading to the intersection. これらは、地図情報が有する情報である。 These are information contained in the map information. 図7(b)は、この表示された地図の領域において、画像の撮影情報中に含まれる複数の速度情報、方向情報、位置情報を図示したものである。 FIG. 7 (b), in the region of the displayed map, is a depiction plurality of speed information included in the photographic information of the image, direction information, the position information. 図中丸印が位置情報、矢印の向きが方向情報、矢印の長さが速度情報を示している。 Figure circled position information, orientation direction information of the arrow, the length of the arrow indicates the speed information. また、それぞれの丸印には1つのフレーム番号が対応している。 Further, each of the circles correspond one frame number. 移動の時系列はフレーム番号の順番を参照することによって判定することができる。 Time series of movement can be determined by referring to the order of the frame numbers. この図7(a)と図7(b)を重ね合わせ、推測した車両1の経路を示したものが図7(c) The FIGS. 7 (a) and FIG. 7 superposed (b), shows the inferred route of the vehicle 1 in FIG. 7 (c)
である。 It is. 撮影情報処理プログラム56は、車両1が図7 Photographic information processing program 56, the vehicle 1 in FIG. 7
(b)のような移動順を図7(a)のような道路で行ったことから、この移動は右折であると判定し、車両1は右折の前に右折車線に入ると推定し、それに基づいて移動経路を推定する。 The movement order, such as (b) from've been on the road, such as in FIG. 7 (a), this movement is determined to be a right turn, estimates that the vehicle 1 enters the right turn lane in front of the right turn, it the basis to estimate the movement path. 図7(d)は、全てのフレームが時間的に等間隔で撮影されているものとして、推定した移動経路と速度情報とに基づいて、全フレームにおいてそれぞれが撮影されたときの車両1の経路上の位置を推定したものを丸印で示したものである。 FIG. 7 (d), assuming that all the frames are temporally captured at regular intervals, based on the estimated movement path and speed information, the route of the vehicle 1 when each shot in all frames a material obtained by estimating the position of the upper illustrates by circles. この際、同様に方向情報、速度情報等も推定することができる。 At this time, similarly it can be estimated direction information, speed information, and the like also. このようにして、撮影情報処理プログラム56は全てのフレームにおける画像の撮影情報の補間を行う。 In this manner, the photographic information processing program 56 performs interpolation of the photographic information of the image in every frame. このような補間を行うことで画像の撮影情報がより詳細なものとなる。 Photographic information of the image by performing such interpolation is more detailed ones. 【0100】データベース読み出し・情報処理プログラム54は、画像変換プログラム58から展開された画像を受信し、また同時に撮影情報処理プログラム56から所定の処理を施された画像の撮影情報を受信する。 [0100] Database reading and information processing program 54 receives the image developed from the image conversion program 58, and receives the imaging information of the image that has been subjected to predetermined processing at the same time from the shooting processing program 56. そしてこれら受信した画像と画像の撮影情報とを関連づけ、 The association with the photographing information of the received image and the image,
さらにこの画像および画像の撮影情報を、画像が撮影された撮影時刻あるいは撮影場所別に整理して撮影画像データベース51に保存する。 Further stores photographic information of the image and image, and organized by the shooting time or shooting location image was captured in the captured image database 51. 画像の撮影時刻および撮影場所は画像の撮影情報を参照することによって判別する。 Shooting time and shooting location of the image is determined by reference to the photographic information of the image. なお、データベース読み出し・情報処理プログラム54は、撮影情報処理プログラム56から地図情報の送信を要求されると、運行路線データベース53から地図情報を読み出し、読み出したものを撮影情報処理プログラム56へ送信するようになっている。 Incidentally, the database read-information processing program 54 is requested to transmit the map information from the photographic information processing program 56, reads map information from the transit line database 53, to transmit those read to the photographic information processing program 56 It has become. 【0101】以上のような車両データ受付プログラム5 [0101] or more vehicle data acceptance program, such as the 5
9、撮影情報処理プログラム56、画像変換プログラム58、データベース読み出し・情報処理プログラム54 9, the photographic information processing program 56, an image conversion program 58, the database read-information processing program 54
の処理によって、ステップ515で車両データ受付プログラム59が受信したデータは撮影画像データベース5 The processing, the data received vehicle data reception program 59 in step 515 the captured image database 5
1に保存される(ステップ520)。 Is stored in the 1 (step 520). 【0102】このようにして撮影画像データベース51 [0102] In this way, the captured image database 51
に撮影された画像および画像の撮影情報が保存されている画像サーバ5に、ユーザが画像閲覧のために基地局網34等のネットワークを経由してアクセスすると、画像サーバ5のユーザ向けデータ配信プログラム57は、データベース読み出し・情報処理プログラム54に対し撮影画像データベース51の有する画像のリスト、および地図情報データベース52の地図情報を送信するよう要求する。 The image server 5 shooting information of the captured image and the image is stored, when the user accesses via a network such as a base station network 34 for image browsing, the user-friendly data delivery program of the image server 5 57 requests to the database read-information processing program 54 a list of images included in the captured image database 51, and to transmit the map information of the map information database 52. 【0103】データベース読み出し・情報処理プログラム54はこの画像のリストおよび地図情報の送信要求を受信すると、撮影画像データベース51を検索してこのリストを作成し、また地図情報データベース52から地図情報を読み出し、作成したリストと読み出した地図情報とをユーザ向けデータ配信プログラム57に送信する。 [0103] When the database readout and information processing program 54 receives a transmission request of the list and the map information of the image, to create the list by searching the captured image database 51, also reads map information from the map information database 52, and transmits the map information read out a list that was created in a user-friendly data delivery program 57. 【0104】このリストおよび地図情報をデータベース読み出し・情報処理プログラム54から受信したユーザ向けデータ配信プログラム57は、受信したリストを地図情報と組み合わせ、地図上に撮影済み地点をプロットしさらに撮影時刻を付記した図のデータをWebデータとしてユーザに送信する。 [0104] user-friendly data delivery program 57 that received this list and the map information from the database read-information processing program 54 is appended, map information and combines the received list, the further capturing time plots the photographed location on a map Figure of the data transmitted to the user as a Web data. ユーザからのアクセスを受けてからここまでの処理がステップ525の画像サーバ5 Image server 5 processes from being accessed from the user up to this step 525
の処理である。 Which is the processing. なお、ユーザはこのWebデータをWe In addition, the user We the Web data
bブラウザを使用して閲覧することができる(ステップ528)。 B Use the browser can be viewed (step 528). 【0105】このWebデータを受信したユーザが、この図中にプロットされた地点の画像を閲覧するために、 [0105] In order for a user that has received the Web data, browse the image points plotted in this figure,
閲覧したい画像の撮影場所を指定して画像および画像の撮影情報の配信の要求を行うと(ステップ530)、ユーザ向けデータ配信プログラム57はこの配信の要求を受信し、指定の画像と画像の撮影情報をデータベース読み出し・情報処理プログラム54に対して要求する。 If you specify a shooting location of the viewing image you want makes a request for delivery of the photographic information of the image and the image (step 530), user-friendly data delivery program 57 receives a request for the delivery, imaging of the specified image and the image request information to the database read-information processing program 54. 【0106】データベース読み出し・情報処理プログラム54はこの要求を受信し、この要求された画像と画像の撮影情報が撮影画像データベース51内に存在するか否かを検索する。 [0106] The database read-information processing program 54 receives this request, photographic information that the requested image and the image is searched whether present in the captured image database 51. 検索の結果存在すると判定するので、 Since it is determined that the result of the search there,
データベース読み出し・情報処理プログラム54は撮影画像データベース51から当該画像と画像の撮影情報を読み出し、この画像の撮影情報に記載された位置情報の周辺の地図情報を地図情報データベース52から読み出し、この画像、画像の撮影情報、地図情報をユーザ向けデータ配信プログラム57に送信する。 Database reading and information processing program 54 reads the imaging information of the image and the image from the captured image database 51, reads map information around the position information described in the shooting information of the image from the map information database 52, the image, shooting information of the image, and transmits the map information to the user for data delivery program 57. 【0107】この送信をユーザ向けデータ配信プログラム57が受信すると、それを要求元のユーザにWebデータとして配信する。 [0107] Upon receipt of the transmission is user-friendly data delivery program 57, to deliver as Web data it to the requesting user. ユーザ向けデータ配信プログラム57が画像および画像の撮影情報の配信の要求を受信してからここまでを、ユーザ向けデータ配信プログラム5 The user-friendly data delivery program 57 from the reception of the request for delivery of the photographic information of the image and the image to where the user's data delivery program 5
7およびデータベース読み出し・情報処理プログラム5 7 and database readout and information processing program 5
4が行う処理が、ステップ535に対応する。 4 performs processing corresponds to step 535. 【0108】なお、このWebデータはインタラクティブに表示を変更することのできる動的なデータである。 [0108] Incidentally, the Web data is dynamic data that can change the display interactively.
このWebデータをWebブラウザを使用して表示したものの例を図8および図9に示す。 It shows this Web data examples of what was viewed using a Web browser in FIGS. 図8では、HTML In Figure 8, HTML
のマルチフレーム機能を利用した分割画面による表示がなされている。 Display has been made by the split-screen using the multi-frame function. 右上の分割画面は、ユーザの要求した全方位の動画像中の、ある瞬間のある方向領域の部分をパノラマ表示したものである。 Top right of the split screen, in the omnidirectional moving image that requested by the user, is obtained by panoramic view the portion of the certain direction area of ​​a certain moment. ただし、この分割画面中の左下隅にはxx方面、右上隅には○○方面との文字が画像に併せて表示されている。 However, the bottom left is the corner xx direction in the split screen, in the upper right corner character of the ○○ direction is displayed along with the image. xxおよび○○は地名である。 xx and ○○ is a place name. この表示は、ユーザ向けデータ配信プログラム57 This display, user-friendly data delivery program 57
がWebデータ作成段階で、撮影情報の有する方向情報をこの画像に関連づけ、それによってこの画面中の交差点から延びる道路の方向を判断し、また地図情報と撮影情報の車両の位置とを連携させ、この道路がどの道路で、どの地名に向かう道路であるかを判断し、それをユーザインターフェースに反映することによって実現することができる。 There the Web data creation stage, associate direction information included in the photographing information on the image, thereby to determine the direction of the road extending from the intersection in this screen, also to cooperate with the position of the vehicle in the map information and the photographing information, the road in which the road, it is determined whether the road going any place name, can be achieved by reflecting it to the user interface. 【0109】左側の分割画面は、表示されている画像がどの位置の画像であり、どの方向を向いた時に見える画像であるかを示す地図である。 [0109] the left split screen is an image of which position is the displayed image is a map indicating which image seen when facing any direction. この地図中で帯状に記されたものが道路であり、またこの地図中で丸で示されたものが車両の位置であり、矢印が視点の中心の向き、すなわち表示している画像の中央の方向である。 This is a road that was marked in a band in the map, also the position of the vehicle as indicated by circles in this in the map, arrows center direction of the viewpoint, i.e., the center of the image displayed is the direction. また、地図中に斜線で示されたエリアは、撮影データが存在するエリア、すなわちこの車両によって動画像が撮影されたエリアを示している。 Also, the area indicated by diagonal lines in the map, the area in which photographed data is present, that is, the area in which moving image captured by the vehicle. これらは、ユーザ向けデータ配信プログラム57が地図情報の道路の位置および車線の形状と撮影情報の車両の位置および方向情報を連携させることで表示することができる。 These can be user-friendly data delivery program 57 is displayed by linking the position and direction information of the vehicle photographic information and the shape of the position and lane of the road map information. 【0110】また、中央下の分割画面は、画像の撮影情報の現在位置情報と撮影時刻の情報を文字によって表示している。 [0110] Further, the lower center of the split screen displays the information of the current position information and the shooting time of the image capturing information by characters. これは、地図情報の道路の位置と撮影情報の車両の位置および撮影時刻を連携させることで表示することができる。 This can be displayed by linking the position and photographing time of the vehicle position and the imaging information of the road map information. 【0111】また、右下の4つのユーザが操作可能な分割画面は、画像の撮影時間の送り、戻し、あるいは視点の左右への回転を行うことで、右上の画像の表示をインタラクティブに変化させることができるようになっている。 [0111] In addition, four user-operable split screen on the lower right, sends the image capturing time, by performing the rotation to the left and right back, or perspective, changing the display of the upper right of the image interactively thereby making it possible. これは例えばJava(登録商標)やcgi等の技術を使用することによって実現可能である。 This can be achieved by using, for example, Java (registered trademark), cgi like techniques. ユーザ向けデータ配信プログラム57がこのようインタラクティブなインターフェースを配信することにより、ユーザはあたかも自分が撮影された場所を仮想的に左右を見回しながら行き来しているかのような視覚効果を享受することができる。 By user-friendly data delivery program 57 delivers such interactive interface, the user can as if he or she enjoyed a visual effect as if the traverse while looked virtually affect the location taken . 【0112】図9は、この右上の分割画面に表示される画像の別の例を示した図である。 [0112] Figure 9 is a diagram showing another example of an image displayed on the upper right of the split screen. この画像には店舗や事業所等の建造物が表示されている。 It is displayed buildings such as stores and offices in this image. これらの建造物の上方にはそれぞれの建造物の会社名あるいは店名、電話番号、ホームページアドレス、e−mailアドレス等が表示されている。 Company name or shop name of each of the above these buildings of buildings, telephone number, home address, e-mail address and the like are displayed. この表示は、ユーザ向けデータ配信プログラム57が表示されている画像の撮影情報の現在位置情報および方向情報と、地図情報中の建造物情報とを連携させることによって表示することができる。 This indication may be displayed by linking the current position information and the direction information of the photographic information of the image to the user-friendly data delivery program 57 is displayed, and building information in the map information. 【0113】また、ステップ528で地図上に撮影済み地点および撮影時刻が記載された図のWebデータを受信したユーザが、この図中で撮影済みでない撮影場所の画像および画像の撮影情報の配信を画像サーバ5に要求すると(ステップ537)、ユーザ向けデータ配信プログラム57はこの配信の要求を受信し、指定の撮影場所の画像と画像の撮影情報をデータベース読み出し・情報処理プログラム54に対して要求する。 [0113] Also, a user is photographed point and photographing time on the map has been received Web data of graphics included in step 528, the delivery of photographic information of the image and the image of the photographed non shooting place in this drawing When requesting the image server 5 (step 537), user-friendly data delivery program 57 receives a request for the delivery, to request the photographic information specifying the shooting location of the image and the image to the database read-information processing program 54 . 【0114】この要求を受信したデータベース読み出し・情報処理プログラム54は、この要求された画像と画像の撮影情報が撮影画像データベース51内に存在するか否かを検索する。 [0114] Database reading and information processing program 54 which has received the request, the photographing information of the requested image and the image is searched whether present in the captured image database 51. 検索の結果存在しないと判定するので、データベース読み出し・情報処理プログラム54 Since it is determined that search no result exists, the database read-information processing program 54
は、運行路線データベース53から今後要求された指定の撮影場所を撮影できる位置に移動する運行スケジュールとなっている車両を検索し、検索の結果該当する車両がみつかれば、その車両の運行スケジュールでいつ、例えば何分後に、撮影を行うことができるかをユーザ向けデータ配信プログラム57に通知する。 Retrieves the vehicle from the transit line database 53 and has a travel schedule to move to a position where it can photograph the shooting location of the specified requested the future, if it finds the results relevant vehicle of the search, in the operating schedule of the vehicle when, for example, after many minutes, to notify whether it is possible to carry out the shooting in a user-friendly data delivery program 57. 該当する車両が複数存在すれば、あるいは1つの車両が複数撮影をおこなうことができるタイミングを有していれば、それらに基づいていつ撮影できるかの情報を複数通知する。 If appropriate vehicle by plurality of, or if one vehicle is only to have a timing which can perform multiple shooting, a plurality notifies the information when it captured based on them. 【0115】このいつ撮影できるかの通知を受信したユーザ向けデータ配信プログラム57は、それをユーザに撮影予約可能時刻のリストとして通知する。 [0115] user-friendly data delivery program 57, which has received the one of the notification this can be when shooting, to notify it as a list of photographing reservation possible time to the user. ユーザ向けデータ配信プログラム57が画像および画像の撮影情報の配信の要求を受信してからここまでを、ユーザ向けデータ配信プログラム57およびデータベース読み出し・ The user-friendly data delivery program 57 from the reception of the request for delivery of the photographic information of the image and the image to where the user's data delivery program 57 and database read-
情報処理プログラム54が行う処理が、ステップ540 Processing performed by the information processing program 54 is executed by the step 540
に対応する。 Corresponding to. 【0116】このリストの通知を受信したユーザは、リストの中から1つまたは複数の撮影時刻を選択し、その時刻の画像を取得するよう要求する信号を画像サーバ5 [0116] The user may select one or more shooting time from the list, the image server 5 a signal requesting to acquire the image of the time of receiving the notification of the list
に送信する(ステップ545)。 To send to (step 545). 【0117】ユーザ向けデータ配信プログラム57はこの要求を受信すると、選択された時刻の情報ををデータベース読み出し・情報処理プログラム54に送信する(ステップ550)。 [0117] user-friendly data delivery program 57 receives this request and sends the information of the time selected in the database read-information processing program 54 (step 550). データベース読み出し・情報処理プログラム54はこの選択された時刻の情報を受信し、 Database reading and information processing program 54 receives information of the selected time,
ステップ540で検索した運行スケジュールにもとづき、この時刻で撮影できる車両を検索し、その車両の無線機のネットワークアドレスや電話番号等の識別番号と、画像および画像の撮影情報が必要な指定の位置情報および時刻を撮影指令送信プログラム55に通知する。 Based on the operation schedule retrieved in step 540, searches the vehicle can be taken at this time, the position information of the identification number of the network address or phone number of the radio of the vehicle, the image and the image capturing information is required specify and time to notify the image acquisition command transmission program 55.
この際、指定の撮影場所が風景等の撮影対象であった場合は、その風景を撮影することのできる場所を推定し、 At this time, if the shooting location specified were photographed object such as a landscape, it estimates the location that can be taken the scene,
それを指定の位置情報とする。 To do it with the specified location information. 【0118】撮影指令送信プログラム55は、このデータベース読み出し・情報処理プログラム54から特定の車両の識別番号、画像および画像の撮影情報が必要な指定の位置情報を受信すると、その識別番号の車両にのみ指定の位置で撮影を行うように要求する信号を送信する。 [0118] an image acquisition command transmission program 55, the identification number of the particular vehicle from the database read-information processing program 54, the photographing information of the image and the image receiving location information of the necessary specifications, the vehicle identification number only It transmits a signal requesting to perform photographing at a specified position. データベース読み出し・情報処理プログラム54が選択された時刻の情報を受信してからここまでの、データベース読み出し・情報処理プログラム54および撮影指令送信プログラム55の処理がステップ555に対応する。 Database reading and information processing program 54 from the reception of the information of the selected time up to this point, the processing of database read-information processing program 54 and an image acquisition command transmission program 55 corresponds to the step 555. 【0119】この特定の車両は、この撮影指令送信プログラム55の送信した要求信号を受信し(ステップ56 [0119] This particular vehicle receives the transmitted request signal from the image pickup instruction transmission program 55 (Step 56
0)、情報処理部13および通信制御部14の図4に示した処理によって要求信号に基づいて撮影を行い、撮影した画像と画像の撮影情報とを画像サーバ5に送信する(ステップ565)。 0), the processing shown in FIG. 4 of the information processing unit 13 and a communication control unit 14 performs photographing based on the request signal, and transmits the photographing information of the photographed image and the image to the image server 5 (step 565). この画像および画像の撮影情報は、ユーザが閲覧するために指定した撮影場所の画像および画像の撮影情報となっている。 The shooting information of the image and the image, the user is in the shooting information of the image and the image of the shooting location that you specify in order to view. 【0120】この画像と画像の撮影情報とを受信した画像サーバ5は、ステップ507の処理と同様に、車両データ受付プログラム59がこの画像と画像の撮影情報を受信し、画像変換プログラム58が画像を展開してデータベース読み出し・情報処理プログラム54に送信し、 [0120] The image server 5 which has received the imaging information of the image and the image, as in step 507, vehicle data reception program 59 receives the imaging information of the image and the image, the image conversion program 58 is an image the expand and sends it to the database readout and information processing program 54,
撮影情報処理プログラム56が画像の撮影情報を処理してデータベース読み出し・情報処理プログラム54に送信し、データベース読み出し・情報処理プログラム54 Sent to the database read-information processing program 54 shooting processing program 56 processes the captured information in the image database read-information processing program 54
は受信した画像および画像の撮影情報を撮影画像データベース51に保存する。 It stores the photographed information of the received image and the image in the captured image database 51. このときデータベース読み出し・情報処理プログラム54は、この画像の撮影情報に、 Database reading and information processing program 54 at this time, the imaging information of the image,
ユーザが指定した撮影場所の情報を含める。 Include information on the shooting location specified by the user. またこのとき、データベース読み出し・情報処理プログラム54はユーザがステップ545で指定した画像および画像の撮影情報を取得した旨をユーザ向けデータ配信プログラム57に通知する。 At this time, the database readout and information processing program 54 user notifies the acquired shooting information of the image and the image specified in step 545 for the user data delivery program 57. この通知を受信したユーザ向けデータ配信プログラム57は、指定の画像の撮影が完了したことをWebデータあるいはe−mail等でユーザに通知する。 User-friendly data delivery program 57 that received this notification notifies the user that the photographing of the designated image has been completed in the Web data or e-mail or the like. ステップ565以降からこの通知処理までの、 From the step 565 and subsequent to this notification process,
画像サーバ5の各プログラムが行う処理がステップ57 Each program makes the processing of the image server 5 Step 57
0に対応する。 Corresponding to 0. 【0121】その後、ユーザが画像サーバ5とのアクセスを切断している場合は再度ユーザがアクセスするのを待ち、アクセスの後に図8および図9で説明したようなユーザインターフェースで画像、画像の撮影情報、地図情報等を配信する(ステップ580)。 [0121] Then, the user waits for the access user again if you are cutting the access to the image server 5, the captured image, the image of the user interface as described in FIGS. 8 and 9 after the access information, to deliver the map information, and the like (step 580). 【0122】以上のような画像サーバ5および画像制御コンピュータ10の作動により、画像サーバ5が、ネットワークを介して、ユーザから指定の撮影場所における画像の配信の要求を受け、指定の撮影場所における画像をユーザに配信し、もしユーザの指定の撮影場所における画像を保存していなければ、車両に搭載された画像制御コンピュータ10に対して、この撮影場所に基づく指定の位置で画像を撮影するよう無線通信によって要求する。 [0122] The operation of the image server 5 and the image control computer 10 as described above, the image server 5, via the network, receiving a request for image delivery in the shooting location specified by the user, the image in the photographing location of the designated was delivered to the user, if it is not to save the image in the photographing location of the specified user, a radio to shoot the image control computer 10 mounted on a vehicle, the image at the specified position based on the shooting location request by the communication. 【0123】そして、画像制御コンピュータ10がこの画像サーバ5から車両に搭載された全方位カメラ21での撮影を行う位置の指定を受信し、また指定されたタイミングでこの撮影を行い、撮影された画像とこの画像の撮影情報とを、画像サーバ5にA無線機25およびB無線機27を介して送信する。 [0123] Then, receive the designation of the position where the image control computer 10 performs photographing in the omnidirectional camera 21 mounted from the image server 5 to the vehicle, also performs the shooting at the designated timing, it was taken image and the photographing information of the image, is transmitted via the a radio 25 and B radio 27 to the image server 5. 【0124】そして、画像サーバ5が、この画像制御コンピュータ10から、この車両によって撮影された画像と画像の撮影情報とを無線通信により受信し、この画像と画像の撮影情報とをユーザに配信するので、車外のユーザの要求に従って、車両の周囲の画像を、ユーザに画像を配信する画像サーバ5にアップロードすることが可能となる。 [0124] Then, the image server 5, from the image control computer 10 receives the photographing information of the photographed image and an image by the vehicle by wireless communication, and distributes the imaging information of the image and the image to the user since, according to the requirements of outside user, an image around the vehicle, it is possible to upload the image server 5 to distribute the image to the user. 【0125】(第2実施形態)以下、本発明の第2実施形態について説明する。 [0125] (Second Embodiment) The following describes a second embodiment of the present invention. 本実施形態においては、第1実施形態の画像配信システムに対して、画像制御コンピュータ10が1種類の通信システムを介して画像サーバ5 In the present embodiment, the image distribution system of the first embodiment, the image server 5 image control computer 10 through one type of communication system
と通信するように変更を施したものである。 It was subjected to changes to communicate with. 【0126】本実施形態の画像配信システムにおいては、図5に示したA無線機基地局31、基地局網33、 [0126] In the image distribution system of this embodiment, A radio base station 31 shown in FIG. 5, the base station network 33,
画像サーバ5、基地局網34、基地局35、固定ユーザ36、および車内ユーザ37の構成および作動は第1実施形態と同等である。 Image server 5, the base station network 34, the base station 35, the configuration and operation of the fixed user 36 and vehicle user 37 is equivalent to the first embodiment. ただし、B無線機基地局32は存在しない。 However, B radio base station 32 does not exist. 図10は、本実施形態に係る車両内に搭載される、画像の撮影および画像サーバ5への送信を行うための機器の構成のブロック図である。 Figure 10 is mounted in a vehicle according to the present embodiment, a block diagram of a configuration of a device for performing photographing and transmitting to the image server 5 of the image. 第1実施形態において図1で示した同等の機器の構成と異なる部分は、図1におけるB無線機27およびBアンテナ28が本実施形態においては存在しないことである。 Configuration and different portions of the same device shown in FIG. 1 in the first embodiment is that the B radio 27 and B antenna 28 in FIG. 1 does not exist in this embodiment. 【0127】センサ制御部11、画像記録部12、全方位カメラ21、GPSセンサ22、方位センサ23、速度センサ24、A無線機25、Aアンテナ26の構成および作動は、第1実施形態において図1で同一の符号を付したものと同等である。 [0127] The sensor control unit 11, the image recording unit 12, the omnidirectional camera 21, GPS sensor 22, the configuration and operation of the azimuth sensor 23, speed sensor 24, A wireless device 25, A antenna 26, FIG. In the first embodiment it is equivalent to those denoted by the same reference numerals in 1. 【0128】情報処理部13および通信制御部14は、 [0128] The information processing unit 13 and a communication control unit 14,
第1実施形態において図1で同一の符号を付したものと同等の構成を有する。 Having the same configuration as that denoted by the same reference numerals in FIG. 1 in the first embodiment. ただし、その作動においては、情報処理部13は全ての撮影した画像および画像の撮影情報を、A無線機25を介して画像サーバ5に送信するように通信制御部14に送信する。 However, in its operation, the information processing unit 13 to the photographing information of all the photographed image and an image, to the communication control section 14 to transmit to the image server 5 via the A radio 25. また通信制御部14 The communication control unit 14
は、情報処理部13から受信した画像サーバ5への送信のための通信データは、全てA無線機25から送信するようにしている。 The communication data for transmitting to the image server 5 received from the information processing unit 13 are all be transmitted from A radio 25. 【0129】このように、第1実施形態のように2種類の無線機を使用しなくとも、車外のユーザの要求に従って、車両の周囲の画像を、ユーザに画像を配信する画像サーバ5にアップロードすることが可能である。 [0129] Thus, uploaded without using two types of radios as in the first embodiment, according to the requirements of outside user, an image around the vehicle, the image server 5 to distribute the image to the user it is possible to. 【0130】(第3実施形態)以下、本発明の第3実施形態について説明する。 [0130] (Third Embodiment) Hereinafter, a description of a third embodiment of the present invention. 本実施形態においては、第2実施形態の画像配信システムに対して、画像の展開を画像サーバ5においてではなく画像制御コンピュータ10において行うように変更を施したものである。 In the present embodiment, the image distribution system of the second embodiment, were subjected to changes, as performed in the image control computer 10 rather than at the image server 5 an expansion of the image. 【0131】本実施形態の画像配信システムにおいては、図5に示したA無線機基地局31、基地局網33、 [0131] In the image distribution system of this embodiment, A radio base station 31 shown in FIG. 5, the base station network 33,
基地局網34、基地局35、固定ユーザ36、および車内ユーザ37の構成および作動は第1実施形態と同等である。 The base station network 34, the base station 35, the configuration and operation of the fixed user 36 and vehicle user 37 is equivalent to the first embodiment. ただし、B無線機基地局32は存在しない。 However, B radio base station 32 does not exist. 【0132】図11は、本実施形態に係る車両内に搭載される、画像の撮影および画像サーバ5への送信を行うための機器の構成のブロック図である。 [0132] Figure 11 is mounted in a vehicle according to the present embodiment, a block diagram of a configuration of a device for performing photographing and transmitting to the image server 5 of the image. 第2実施形態において図10で示した同等の機器の構成と異なる部分は、全方位カメラ21と画像記録部12との間に画像展開部15が介在することである。 Configuration and different portions of the same device shown in FIG. 10 in the second embodiment, the image developing unit 15 is to mediate between the omnidirectional camera 21 and the image recording section 12. 【0133】画像展開部15は、全方位カメラ21から全方位映像を受信し、この画像を展開して画像記録部1 [0133] image developing unit 15 receives omnidirectional image from the omnidirectional camera 21, the image recording unit 1 to expand the image
2に出力するものである。 And outputs it to the 2. これによって、画像記録部1 Thus, the image recording unit 1
2が記録する動画像は既に展開済みの画像となる。 Moving image 2 is recorded already be deployed image. 【0134】図12は、本実施形態に係る画像サーバ5 [0134] Figure 12, the image server 5 according to this embodiment
の構成のブロック図である。 It is a block diagram of the configuration. この画像サーバ5が第1実施形態において図5に示した画像サーバ5と異なる点は、画像変換プログラム58が存在しないことである。 The image server 5 is to show the image server 5 and different points 5 in the first embodiment is that the image conversion program 58 is not present.
すなわち車両データ受付プログラム59が受信した動画像は画像変換プログラム58によって展開されることなくデータベース読み出し・情報処理プログラム54に送信される。 That moving image vehicle data reception program 59 receives is transmitted to the database read-information processing program 54 without being expanded by the image conversion program 58. このようにするのは、画像は既に車両内の画像展開部15で展開されているので、再度展開する必要がないからである。 To this manner, the image because it is already deployed in the image development part 15 in the vehicle, it is not necessary to re-expand. 【0135】第1実施形態において説明した様に、展開することによって画像のファイルサイズは減少する。 [0135] As described in the first embodiment, the file size of the image is reduced by expansion. またJPEG形式のファイルでの実測によれば、展開によってファイルサイズはおよそ1/4に減少する。 According to the actual measurement in the JPEG files, the file size is reduced to approximately 1/4 by the deployment. このようなことから、あらかじめ車両側で撮影した画像を展開し、それを画像サーバ5に送信することで、この送信時の転送データ量が低減される。 For this reason, expand the image taken by the advance vehicle, by sending it to the image server 5, the amount of data transferred during the transmission can be reduced. 【0136】なお、本発明の第1〜第3実施形態において、画像制御コンピュータ10は画像アップロード装置に相当する。 [0136] Incidentally, in the first to third embodiments of the present invention, the image control computer 10 corresponds to an image upload device. 【0137】また、第1〜第3実施形態において、A無線機25は第1の無線通信機に相当する。 [0137] Further, in the first to third embodiments, A radio 25 corresponds to the first wireless communication device. なお、A無線機25はPDCの通信システムに対応するようになっているが、第1の無線通信機は必ずしもPDCの通信システムに対応する必要はなく、どのような通信システムに対応していてもよい。 Incidentally, A radio 25 is adapted to correspond to the communication system of the PDC, the first wireless communication device need not necessarily correspond to the PDC communication system and corresponds to any communication system it may be. 【0138】また、第1〜第3実施形態の方向情報は、 [0138] The direction information of the first to third embodiments,
撮影方向情報に対応する。 Corresponding to the shooting direction information. 【0139】また、第1実施形態において、B無線機2 [0139] In the first embodiment, B radio 2
7は第2の無線通信機に相当する。 7 corresponds to the second wireless communication device. なお、B無線機27 In addition, B radio 27
は無線LANの通信システムに対応するようになっているが、第2の無線通信機は必ずしも無線LANの通信システムに対応する必要はなく、どのような通信システムに対応していてもよい。 Although adapted to correspond to the communication system of a wireless LAN, a second wireless communication device need not necessarily correspond to the communication system of a wireless LAN, may correspond to any communication system. 【0140】また、第1〜第3実施形態において、図4 [0140] Further, in the first to third embodiments, Fig. 4
に示した情報処理部13の、画像サーバ5発の撮影を行うときの車両1の位置の指定を通信制御部14から受信する処理が、車両に搭載された第1の無線通信機を介して、この車両に搭載されたカメラでのこの車両の周囲の撮影を行うタイミングの指定を受信する受信手段を構成する。 The information processing unit 13 shown, the process of receiving from the communication control unit 14 to the specified position of the vehicle 1 when performing shooting of the image server 5 shots, via the first wireless communication device mounted in the vehicle , it constitutes a receiving means for receiving a specification of timing for shooting around the vehicle with a camera mounted on the vehicle. ただし、受信手段は撮影を行うタイミングの指定を受信すればいいのであって、ステップ400の処理のように撮影を行うときの車両1の位置の指定を受信する必要はなく、例えば撮影時刻の指定を受信しても良い。 However, the receiving means is a than say Upon receiving the specification of timing for imaging, it is not necessary to receive the designation of position of the vehicle 1 when performing photographing as the process of step 400, for example, specification of imaging time it may receive. 【0141】また、第1〜第3実施形態においては、情報処理部13は画像サーバ5から撮影を行うタイミングの指定を受信するようになっているが、受信手段はどこから受信してもいいのであって、必ずしも画像サーバ5 [0141] Further, in the first to third embodiments, the information processing unit 13 is adapted to receive the designation of the timing to perform photographing from the image server 5, so from where the receiving means good to receive there, necessarily image server 5
から受信する必要はなく、例えば直接ユーザからの通信によって撮影を行うタイミングの指定を受信するようになっていても良い。 You need not be received from, for example, by communication from the user directly or may be adapted to receive the designation of the timing of performing the photography. 【0142】また、図4に示したステップ415〜ステップ460の情報処理部13および通信制御部14の撮影および送信の処理が、指定された撮影を行うタイミングにおいて撮影を行い、撮影した画像を、ユーザからの要求に基づいて画像を配信する画像サーバに第1の無線通信機を介して送信する送信手段を構成する。 [0142] The photographing and processing of transmitting the information processing unit 13 and a communication control unit 14 in step 415~ step 460 shown in FIG. 4, performs photographing in timing for performing the specified photographing a photographed image, It constitutes a transmitting means for transmitting via a first wireless communication device to the image server for delivering an image based on a request from the user. 【0143】また、第1〜第3実施形態において、情報処理部13が撮影する画像は動画像であるが、これは必ずしも動画像である必要はなく、例えば静止画像であってもよい。 [0143] Further, in the first to third embodiments, the image processing unit 13 to shoot a moving image, this is not necessarily the moving image may be, for example, a still image. 【0144】また、第1実施形態において、動画像の代表的な部分として、動画像が撮影された時間帯の中央の時刻に撮影されたものを用いているが、これは必ずしも中央の時刻のものでなくともよい。 [0144] In the first embodiment, as a representative portion of a moving image, but with what a moving image is photographed in the center of the time of the shooting time zone, which is the necessarily central time it may not be intended. 【0145】また、図5に記載の車両データ受付プログラム59、画像変換プログラム58、撮影情報処理プログラム56、およびデータベース読み出し・情報処理プログラム54が行う、図6のステップ515および52 [0145] The vehicle data reception program 59 according to FIG. 5, the image conversion program 58, performs photographic information processing program 56 and the database read-information processing program 54, the steps 515 and 52 in FIG. 6
0の受信および保存処理が、画像受信手段を構成する。 Receiving and storing processing of the 0 constitutes an image receiving unit.
ただし、画像受信手段は、車両から、車両が撮影した当該車両の周囲の画像を無線通信により受信すればよいのであって、例えば画像サーバ5が画像を受信して即座にユーザに画像を配信する場合には、受信したものを保存する必要はない。 However, the image receiving means, from the vehicle, there than may be received images around the vehicle where the vehicle is photographed by wireless communication, for example, an image server 5 delivers the image to the user immediately receives the image case, there is no need to save what was received. また、この場合必ずしも画像の撮影情報を受信する必要もない。 Moreover, there is no need to receive the imaging information in this case necessarily image. 【0146】また、ユーザ向けデータ配信プログラム5 [0146] In addition, user-friendly data delivery program 5
7、データベース読み出し・情報処理プログラム54、 7, database readout and information processing program 54,
撮影指令送信プログラム55のステップ535、54 Step of the image acquisition command transmission program 55 535,54
0、555の処理が、記ネットワークを介してユーザから指定の撮影場所における画像の配信の要求を受信し、 Processing of 0,555 receives a request for image delivery in the shooting location designated by the user via the serial network,
この要求に基づき、車両が撮影場所に基づく撮影のタイミングで画像を撮影して画像を送信するよう、車両に対して無線通信によって要求し、この要求の応答として画像受信手段が受信した画像をユーザに配信する画像配信手段を構成する。 Based on this request, so that the vehicle transmits an image by capturing an image at a timing of photographing based on the photographing location, required by wireless communication to the vehicle, the user image by the image receiving means receives as a response to the request constituting the image delivery means for delivering to. 【0147】なお、この実施形態における作動においては、ユーザが指定する撮影場所の画像が撮影画像データベース51にない場合には、運行路線データベース53 [0147] In the operation in this embodiment, when the image of the photographing location designated by the user is not in the captured image database 51, transit line database 53
から該当する撮影場所を撮影できるような運行スケジュールとなっている車両を検索し、その車両に撮影を行わせるようになっているが、必ずしもこのようにする必要はなく、車両1のような機器を搭載して基地局網33に接続している全ての車両に、指定の位置情報で撮影を行うように要求する信号をブロードキャスト的に送信するようにしてもよい。 Become a travel schedule that can be taken to the appropriate shooting location and search the vehicle from, but is adapted to carry out the shooting on the vehicle, not necessarily need to be the case, devices such as a vehicle 1 to all vehicles that are connected to the base station network 33 by mounting, it may be transmitted a signal requesting to perform photographing position information of the designated broadcast manner. この場合、送信の相手を特定しないブロードキャストであるがゆえに、車両に撮影の要求信号を送信する撮影指令送信プログラム55は、撮影を行うことができる車両についての情報を知る必要はない。 In this case, because it is a broadcast without specifying the destination of transmission, image acquisition command transmission program 55 transmits a request signal for photographing the vehicle does not need to know the information about the vehicle which can perform photographing.
あるいは、この送信はブロードキャストではなく、特定の複数にデータを届けるための送信方法であるマルチキャストであってもよい。 Alternatively, this transmission is not a broadcast, or may be a multicast is a transmission method for delivering data to a specific multiple. その場合は、撮影指令送信プログラム55は相手の車両の情報を知っている必要がある。 In that case, image acquisition command transmission program 55 needs to know the information of the other vehicle. 【0148】また、第1〜第3実施形態においては、画像サーバ5は地図情報を有し、ユーザ向けデータ配信プログラム57はユーザに対して画像および画像の撮影情報と共に地図情報を配信するが、かならずしも地図情報は配信する必要はない。 [0148] In the first to third embodiments, the image server 5 includes a map information, the user-friendly data delivery program 57 distributes the map information together with shooting information of the image and the image to a user, not necessarily need to map information to deliver. 【0149】また、第1〜第3実施形態においては、撮影のために全方位カメラ21を使用しているが、かならずしも全方位を撮影できるカメラである必要はない。 [0149] In the first to third embodiments, the use of the omnidirectional camera 21 for shooting, not necessarily the camera capable necessarily capturing an omnidirectional. 【0150】また、ユーザ向けデータ配信プログラム5 [0150] In addition, user-friendly data delivery program 5
7が配信するWebデータは、インタラクティブに表示を変更することのできる動的なデータである必要はない。 Web data 7 is delivered, they need not be dynamic data that can change the display interactively. 【0151】また、図3に第1実施形態における画像の撮影情報の一例を示したが、画像の撮影情報はこのような位置情報、時刻、方向情報、速度情報の全てがそろっていないと構成されないものではなく、これらのうちの1つだけでも画像の撮影情報を構成することができる。 [0151] Further, an example of the imaging information of the image in the first embodiment in FIG. 3, the photographing information such positional information of the image, time, direction information, and all the velocity information is not uniform configuration but the present invention is not, it is possible to configure the imaging information of the image just one of these. 【0152】なお、上記した手段のうち、フローチャート、タイミングチャートに示した処理によって構成される手段、および図5、図12に示したプログラムによって構成される手段は、それぞれの手段の有する機能を実現するように構成されていればよいのであって、必ずしもソフトウェア的処理によって構成されていなくともよく、専用のハードウェアとして構成されていてもよい。 [0152] Among the means described above, the flow chart, means constituted by the processing shown in the timing chart, and FIG. 5, means constituted by a program shown in FIG. 12, realize the functions of the respective means to as there than may be composed, may not necessarily have configured by software processing, it may be configured as dedicated hardware.

【図面の簡単な説明】 【図1】本発明の第1実施形態における、車両1内に搭載される、画像の撮影および画像サーバ5への送信を行うための機器の構成のブロック図である。 In the first embodiment BRIEF DESCRIPTION OF THE DRAWINGS [Figure 1] The present invention is mounted in the vehicle 1, is a block diagram of a configuration of a device for performing the transmission to the imaging and image server 5 of the image . 【図2】第1実施形態に係る画像配信システムを模式的に示す概念図である。 2 is a conceptual view schematically illustrating an image distribution system according to the first embodiment. 【図3】情報処理部13が作成する画像の撮影情報の一例を示す図である。 3 is a diagram showing an example of the imaging information of the image information processing unit 13 creates. 【図4】情報処理部13および通信制御部14が画像を撮影して画像サーバ5に送信するために行う処理のフローチャートである。 [4] The information processing unit 13 and a communication control unit 14 is a flowchart of processing performed in order to transmit to the image server 5 by capturing an image. 【図5】第1実施形態に係る画像配信システムの構成を示すブロック図である。 5 is a block diagram showing the configuration of an image distribution system according to the first embodiment. 【図6】画像サーバ5、ユーザ、車両間のデータの処理のやりとりを示すタイミングチャートである。 [6] The image server 5, the user is a timing chart showing the exchange of process data between vehicles. 【図7】画像の撮影情報の補間の処理の流れを模式的に示した図である。 7 is a diagram schematically illustrating the flow of processing of interpolation of the imaging information of the image. 【図8】ユーザ向けデータ配信プログラム57が配信するWebデータをWebブラウザを使用して表示したものの一例を示す図である。 8 is a diagram showing an example of the display to use a Web browser to Web data that the user-friendly data delivery program 57 delivers. 【図9】ユーザ向けデータ配信プログラム57が配信するWebデータをWebブラウザを使用して表示したもののさらに一例を示す図である。 9 is a diagram showing a further example but viewed using a Web browser Web data user-friendly data delivery program 57 delivers. 【図10】第2本実施形態に係る車両内に搭載される、 [Figure 10] is mounted in a vehicle according to a second present embodiment,
画像の撮影および画像サーバ5への送信を行うための機器の構成を示すブロック図である。 Is a block diagram showing the configuration of a device for performing the transmission to the imaging and image server 5 of the image. 【図11】第3実施形態に係る車両内に搭載される、画像の撮影および画像サーバ5への送信を行うための機器の構成を示すブロック図である。 [Figure 11] is mounted in a vehicle according to the third embodiment, a block diagram showing the configuration of a device for performing the transmission to the imaging and image server 5 of the image. 【図12】第3実施形態に係る画像サーバ5の構成を示すブロック図である。 12 is a block diagram showing a configuration of the image server 5 according to the third embodiment. 【符号の説明】 1…車両、2…道路、3…基地局、4…基地局網、5… [Reference Numerals] 1 ... vehicle, 2 ... road, 3 ... base station, 4 ... base station network, 5 ...
画像サーバ、6…撮影画像、7…配信画像、10…画像制御コンピュータ、11…センサ制御部、12…画像記録部、13…情報処理部、14…通信制御部、21…全方位カメラ、22…GPSセンサ、23…方位センサ、 Image server, 6 ... captured image, 7 ... distribution image, 10 ... image control computer, 11 ... sensor control unit, 12 ... image recording section, 13 ... information processing part, 14 ... communication control unit, 21 ... omnidirectional camera, 22 ... GPS sensor, 23 ... azimuth sensor,
24…速度センサ、25…A無線機、26…Aアンテナ、27…B無線機、28…Bアンテナ、31…A無線機基地局、32…B無線機基地局、33…基地局網、3 24 ... speed sensor, 25 ... A radio, 26 ... A antenna, 27 ... B radio, 28 ... B antenna, 31 ... A radio base station, 32 ... B radio base station, 33 ... base station network, 3
4…基地局網、35…基地局、36…固定ユーザ、37 4 ... base station network, 35 ... base station, 36 ... fixed user, 37
…車内ユーザ、51…撮影画像データベース、52…地図情報データベース、53…運行路線データベース、5 ... vehicle user, 51 ... captured image database, 52 ... map information database, 53 ... transit line database 5
4…データベース読み出し・情報処理プログラム、55 4 ... database readout and information processing program, 55
…撮影指令送信プログラム、56…撮影情報処理プログラム、57…ユーザ向けデータ配信プログラム、58… ... an image acquisition command transmission program, 56 ... photographic information processing program, 57 ... user-friendly data delivery program, 58 ...
画像変換プログラム、59…車両データ受付プログラム。 Image conversion program, 59 ... vehicle data acceptance program.

フロントページの続き Fターム(参考) 5C054 AA02 CA04 CF05 CH02 DA07 EA01 EA03 EA05 ED07 FD02 FF02 GB11 HA28 HA30 5C064 BA07 BB05 BB10 BC10 BC16 BC20 BC25 BD02 BD08 BD09 5H180 AA01 BB05 BB15 CC04 CC12 FF05 FF10 FF13 FF22 FF32 FF40 Front page of the continued F-term (reference) 5C054 AA02 CA04 CF05 CH02 DA07 EA01 EA03 EA05 ED07 FD02 FF02 GB11 HA28 HA30 5C064 BA07 BB05 BB10 BC10 BC16 BC20 BC25 BD02 BD08 BD09 5H180 AA01 BB05 BB15 CC04 CC12 FF05 FF10 FF13 FF22 FF32 FF40

Claims (1)

  1. 【特許請求の範囲】 【請求項1】 車両に搭載される画像アップロード装置であって、 前記車両に搭載された第1の無線通信機を介して、前記車両に搭載されたカメラでの前記車両の周囲の撮影を行うタイミングの指定を受信する受信手段と、 前記指定された撮影を行うタイミングにおいて前記撮影を行い、撮影した画像を、ユーザからの要求に基づいて画像を配信する画像サーバに前記第1の無線通信機を介して送信する送信手段と、を備えた画像アップロード装置。 An image upload device mounted to the Claims 1 vehicle, via the first wireless communication device mounted on the vehicle, said vehicle in a camera mounted on the vehicle receiving means for receiving a specification of timing for imaging of the surrounding, it performs the shooting at the timing for performing the specified shooting, the captured images, the image server for delivering an image based on a request from the user transmission means for transmitting via a first wireless communication device, an image upload device equipped with. 【請求項2】 前記送信手段は、前記画像を撮影したときの撮影状況に関する情報である画像の撮影情報を、前記画像に併せて前記画像サーバに前記第1の無線通信機を介して送信することを特徴とする、請求項1に記載の画像アップロード装置。 Wherein said transmission means, the image capturing information is information on imaging conditions at the time of capturing the image, and transmits via the first wireless communication device to said image server in accordance with the said image characterized in that, the image upload device according to claim 1. 【請求項3】 前記受信手段は、前記撮影を行うタイミングの指定として、撮影を行うときの前記車両の位置の指定を受信することを特徴とする請求項1または2に記載の画像アップロード装置。 Wherein said receiving means, as the designation of the timing of the shot, the image upload device according to claim 1 or 2, characterized in that receiving a specified position of the vehicle when performing photographing. 【請求項4】 前記受信手段は、前記第1の無線通信機を介して、前記カメラでの撮影を行うタイミングの指定を、前記画像サーバから受信することを特徴とする請求項1ないし3のいずれか1つに記載の画像アップロード装置。 Wherein said receiving means via said first wireless communication device, the specification of timing for shooting in the camera, according to claim 1, wherein the receiving from said image server image upload device according to any one. 【請求項5】 前記画像は、動画像であることを特徴とする請求項1ないし4のいずれか1つに記載の画像アップロード装置。 Wherein the image is an image upload device according to any one of claims 1 to 4, characterized in that a moving image. 【請求項6】 前記送信手段は、前記第1の無線通信機を介して前記画像の代表的な部分および前記画像の撮影情報を前記画像サーバに送信し、その後に車両に搭載された第2の無線通信機を介して前記画像の残りの部分を前記画像サーバに送信することを特徴とする請求項5に記載の画像アップロード装置。 Wherein said transmission means via said first wireless communication device transmits the photographic information representative portion and the image of the image to the image server, the second was then mounted on a vehicle image upload device according to the remaining portions of the image via the wireless communication device to claim 5, characterized by transmitting to the image server. 【請求項7】 前記第2の無線通信機の伝送容量は前記第1の無線通信機の伝送容量より大きいことを特徴とする請求項6に記載の画像アップロード装置。 7. A transmission capacity of the second wireless communication device is an image upload device according to claim 6, wherein greater than the transmission capacity of the first wireless communication device. 【請求項8】 前記第2の無線通信機を使用する時の通信コストは前記第1の無線通信機を使用する時の通信コストより低いことを特徴とする請求項6または7に記載の画像アップロード装置。 8. The image according to claim 6 or 7 communications costs are characterized by lower than the communication cost when using the first wireless communication device when using the second wireless communication device upload device. 【請求項9】 前記画像の代表的な部分とは、前記画像のうち、前記画像が撮影された時間帯の中央の時刻に撮影されたものであることを特徴とする請求項5ないし7 A representative portion of wherein said image of said image, a 5- claim, wherein the image is one that was taken in the middle of the time of the shooting time zone 7
    のいずれか1つに記載の画像アップロード装置。 Image upload device according to any one of. 【請求項10】 ネットワーク上に配置された画像サーバであって、 車両から、前記車両が撮影した当該車両の周囲の画像を無線通信により受信する画像受信手段と、 前記ネットワークを介してユーザから指定の撮影場所における画像の配信の要求を受信し、この要求に基づき、 10. An image server located on a network, designated by the vehicle, an image of surroundings of the vehicle in which the vehicle is captured and the image receiving means for receiving by wireless communication, from a user via the network receiving a request for image delivery in the shooting location, based on the request,
    前記車両が前記撮影場所に基づく撮影のタイミングで画像を撮影して前記画像を送信するよう、前記車両に対して無線通信によって要求し、この要求の応答として前記画像受信手段が受信した画像を前記ユーザに配信する画像配信手段を備えた画像サーバ。 As said vehicle to transmit the image by photographing the image at a timing of shooting based on the shooting location, and required by the wireless communication to the vehicle, the image which the image receiving means receives as a response to the request image server having an image delivery means for delivering to the user. 【請求項11】 前記車両のうち、あらかじめ計画された予定経路を走行するようになっている車両の、前記予定経路と前記予定経路中の通過位置と通過予定時刻との対応から成る前記車両の運行路線データベースを備え、 前記画像配信手段は、前記運行路線データベースに基づいて、前記画像を撮影して前記画像を送信するよう無線通信によって要求する対象の車両を決定することを特徴とする請求項10に記載の画像サーバ。 11. Of the vehicle, the vehicle adapted to travel preplanned planned route, the vehicle comprising a correspondence between passage position and passage scheduled time in the scheduled route and the planned route It includes a transit line database, the image delivery unit, claims on the basis of the transit line database, and determines the vehicle for which requests the wireless communication to transmit the image by capturing the image image server according to 10. 【請求項12】 前記画像受信手段は、車両から、前記車両が撮影した当該車両の周囲の画像および前記画像が撮影されたときの撮影状況に関する情報である画像の撮影情報を無線通信により受信し、かつこの受信した画像および画像の撮影情報を前記画像の撮影情報に基づいて保存し、 前記画像配信手段は、前記ネットワークを介してユーザから指定の撮影場所における画像の配信の要求を受信し、前記ユーザの指定の撮影場所における画像を前記画像保存手段が保存していなければ、前記車両が前記撮影場所に基づく撮影のタイミングで画像を撮影して前記画像および前記画像の撮影情報を送信するよう、前記車両に対して無線通信によって要求し、この要求の応答として前記画像受信手段が受信した画像を前記ユーザに配信することを 12. The image receiving unit receives from the vehicle, the image capturing information is information on imaging conditions when the image and the image of the surroundings of the vehicle that the vehicle is taken is captured by the wireless communication and save on the basis of the photographing information of the received image and the image in the imaging information of the image, the image delivery unit receives a request for image delivery in the shooting location designated by the user via the network, if no images in the specification of the shooting location of the user and save the image storage means, the vehicle to take an image at a timing of shooting based on the shooting location to send shooting information of the image and the image , that was requested by the wireless communication to the vehicle, to distribute the image by the image receiving means receives as a response to the request to the user 徴とする請求項10または11に記載の画像サーバ。 Image server according to claim 10 or 11, symptoms. 【請求項13】 前記画像の撮影情報は、前記画像が撮影されたときの撮影時刻情報および撮影場所情報を含み、 前記画像保存手段は、受信した画像を、この画像が撮影された撮影時刻あるいは撮影場所別に整理して保存することを特徴とする請求項12に記載の画像サーバ。 Photographic information wherein said image includes a photographing time information and the shooting location information when the image is captured, the image storage means, the received image, photographing time or the image is captured image server according to claim 12, characterized in that the store organized by shooting location. 【請求項14】 前記画像の撮影情報は、前記画像が撮影された時の前記画像を撮影した車両の位置情報および走行速度情報を含み、 前記画像受信手段は、前記車両が走行中に撮影した動画像を受信し、前記動画像の撮影情報の有する車両の走行速度情報、位置情報に基づき、前記動画像の各フレーム毎に撮影されたときの前記車両の位置を算出することを特徴とする請求項12または13に記載の画像サーバ。 Photographic information 14. The image may include position information and travel speed information of the vehicle associated with the image when the image is captured, the image receiving means, the vehicle is taken while driving receiving a moving image, the traveling speed information of the vehicle having the imaging information of the moving image, on the basis of the position information, and calculates the position of the vehicle when it is photographed for each frame of the moving image image server according to claim 12 or 13. 【請求項15】 地図情報を備え、 前記画像の撮影情報は、前記画像が撮影された時の前記画像を撮影した車両の位置情報を有し、 前記画像配信手段は、前記地図情報と受信した画像とを、前記画像が撮影されたときの前記画像を撮影した車両の位置情報に基づいて連携させ、この連携に基づいたユーザインターフェースとして、ユーザの指定による画像とこの画像の撮影情報とを前記ユーザに配信することを特徴とする請求項12ないし14のいずれか1つに記載の画像サーバ。 15. includes a map information, imaging information of the image has a location information of a vehicle who photographs the image when the image is captured, the image delivery unit is received and the map information an image, the image was the cooperate on the basis of the positional information of the vehicle in which the photographed image when taken as a user interface based on this cooperation, said the imaging information of the image and the image of the specified user image server according to any one of claims 12 to 14, characterized in that for delivery to users. 【請求項16】 前記画像の撮影情報は、前記撮影された画像の撮影方向情報を有し、 前記ユーザインターフェースは、撮影された画像とこの画像の撮影方向情報を併せて表示するようになっていることを特徴とする請求項15に記載の画像サーバ。 Photographic information 16. The image has a shooting direction information of the captured image, the user interface is adapted for displaying together shooting direction information of the image and the captured image image server according to claim 15, characterized in that there. 【請求項17】 前記地図情報は建造物情報を有し、 前記ユーザインターフェースは、撮影された画像とこの画像に関わる建造物情報を併せて表示するようになっていることを特徴とする請求項15または16に記載の画像サーバ。 17. The map information includes a building information, the user interface claims, characterized in that is adapted to display together building information related to the image and the captured image image server according to 15 or 16. 【請求項18】 前記画像配信手段が前記ユーザに配信する画像は動画像であり、 前記ユーザインターフェースは、ユーザによって前記動画像のコマ送りおよび巻き戻しを行うことができるようになっていることを特徴とする請求項15ないし17のいずれか1つに記載の画像サーバ。 18. The image which the image delivery unit delivers to the user is a moving image, said user interface is adapted can be by a user performing a frame advance and rewind of the moving image image server according to any one of claims 15 to 17, characterized. 【請求項19】 前記画像配信手段が前記ユーザに配信する画像は複数の撮影方向の画像を含むパノラマ画像であり、 前記ユーザインターフェースは、ユーザによって前記パノラマ画像中で指定の撮影方向の画像部分を表示することができるようになっていることを特徴とする請求項1 19. The image which the image delivery unit delivers to the user is a panorama image containing an image of a plurality of imaging directions, the user interface, the image portion of the imaging direction specified in the panoramic image by the user claim 1, characterized in that it become possible to display
    6ないし18のいずれか1つに記載の画像サーバ。 6 to 18 image server according to any one of. 【請求項20】 車両に搭載された画像アップロード装置と、ネットワーク上に配置された画像サーバとを備えた画像配信システムであって、 前記画像アップロード装置は、前記車両に搭載された第1の無線通信機を介して、前記車両に搭載されたカメラでの前記車両の周囲の撮影を行うタイミングの指定を受信する受信手段と、前記指定された撮影を行うタイミングにおいて前記撮影を行い、前記画像と前記画像の撮影情報とを、前記画像サーバに前記第1の無線通信機を介して送信する送信手段と、を有し、 前記画像サーバは、前記アップロード装置が撮影した当該車両の周囲の画像を無線通信により受信する画像受信手段と、前記ネットワークを介してユーザから指定の撮影場所における画像の配信の要求を受信し、この要求に基づき 20. An image distribution system comprising an image upload device mounted on a vehicle, and an image server located on a network, the image upload apparatus, a first radio that is mounted on the vehicle via the communication device, it performs the shooting at the timing of performing the receiving unit, the designated shot that receives a designation of timing for shooting around the vehicle in a camera mounted on the vehicle, and the image an imaging information of the image, anda transmitting means for transmitting via said first radio communication device to said image server, said image server, an image of surroundings of the vehicle to the upload device is taken receiving an image receiving means for receiving by wireless communication, a request for image delivery in the shooting location designated by the user via the network, based on the request 前記画像アップロード装置が前記撮影場所に基づく撮影のタイミングで画像を撮影して前記画像を送信するよう、前記画像アップロード装置に対して無線通信によって要求し、この要求の応答として前記画像受信手段が受信した画像を前記ユーザに配信する画像配信手段と、を有することを特徴とする画像配信システム。 The image upload apparatus by capturing an image at the timing of shooting based on the shooting location to transmit the image, and required by the wireless communication to the image upload device, said image receiving means receives as a response to the request image distribution system characterized by having an image distribution means for distributing the images to the user. 【請求項21】 前記画像アップロード装置が搭載された車両に搭載されたカメラは、全方位カメラであることを特徴とする請求項20に記載の画像配信システム。 21. A camera in which the image upload device is mounted on a vehicle equipped with an image distribution system according to claim 20, characterized in that the omnidirectional camera. 【請求項22】 前記送信手段は、前記全方位カメラによって撮影された画像を展開した後前記画像サーバに送信することを特徴とする請求項21に記載の画像配信システム。 22. the transmission unit, an image distribution system according to claim 21, characterized by transmitting to the image server after extracting the image captured by the omnidirectional camera. 【請求項23】 前記画像受信手段は、前記全方位カメラによって撮影された画像を前記画像アップロード装置から受信した後、この画像を展開して保存することを特徴とする請求項21に記載の画像配信システム。 23. The image receiving unit, after receiving the image captured by the omnidirectional camera from the image upload device, an image according to claim 21, characterized in that the storage by expanding the image delivery system.
JP2002120689A 2002-04-23 2002-04-23 Image upload device Active JP3951786B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002120689A JP3951786B2 (en) 2002-04-23 2002-04-23 Image upload device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002120689A JP3951786B2 (en) 2002-04-23 2002-04-23 Image upload device

Publications (2)

Publication Number Publication Date
JP2003317193A true JP2003317193A (en) 2003-11-07
JP3951786B2 JP3951786B2 (en) 2007-08-01

Family

ID=29536841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002120689A Active JP3951786B2 (en) 2002-04-23 2002-04-23 Image upload device

Country Status (1)

Country Link
JP (1) JP3951786B2 (en)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173784A (en) * 2003-12-09 2005-06-30 Nec Corp System, method, device, and program for video information distribution
JP2006186645A (en) * 2004-12-27 2006-07-13 Kyocera Corp Mobile camera system
JP2007028363A (en) * 2005-07-20 2007-02-01 Alpine Electronics Inc Top view image generating apparatus and top view image display method
JP2007328477A (en) * 2006-06-07 2007-12-20 Hitachi Ltd Communication system, communication terminal and information processor
JP2008090568A (en) * 2006-10-02 2008-04-17 Sumitomo Electric Ind Ltd Communication system and on-vehicle device
WO2008072305A1 (en) * 2006-12-11 2008-06-19 Pioneer Corporation Information processing apparatus, information recording apparatus, method of information processing, method of information recording, information processing program, information recording program and computer-readable recording medium
WO2008114385A1 (en) * 2007-03-19 2008-09-25 Pioneer Corporation Photographing image provision system, photographing management server, photographing management method, photographing management program and memory medium
JP2009021767A (en) * 2007-07-11 2009-01-29 Nippon Telegr & Teleph Corp <Ntt> Image providing device, image providing method, image providing program, and computer readable recording medium recorded with the program thereon
JP2010146429A (en) * 2008-12-22 2010-07-01 Sanyo Electric Co Ltd Image collection device, server device, and image collection and distribution system
JP2010233161A (en) * 2009-03-30 2010-10-14 Denso It Laboratory Inc Imaging system, terminal device, server device and imaging method
US8260544B2 (en) 2008-02-15 2012-09-04 Sharp Kabushiki Kaisha Mobile body navigation system, navigation apparatus and server apparatus
JP2013137653A (en) * 2011-12-28 2013-07-11 Nec Corp Image database system
JP2013152587A (en) * 2012-01-25 2013-08-08 Toyota Motor Corp Mobile information processing system
JP2014225782A (en) * 2013-05-16 2014-12-04 株式会社Nttドコモ Information processing device, communication terminal, and data acquisition method
WO2015128959A1 (en) * 2014-02-26 2015-09-03 三菱電機株式会社 Navigation system, image server, mobile terminal, navigation assistance method, and navigation assistance program
JP2016032258A (en) * 2014-07-30 2016-03-07 Kddi株式会社 Video transmission device, video transmission method, and video transmission program
JP2017004306A (en) * 2015-06-11 2017-01-05 株式会社デンソー Information processing device and information storage device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102692213B (en) * 2012-05-11 2014-12-03 浙江工业大学 Traffic accident field surveying instrument based on active omnidirectional visual sensor

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173784A (en) * 2003-12-09 2005-06-30 Nec Corp System, method, device, and program for video information distribution
JP2006186645A (en) * 2004-12-27 2006-07-13 Kyocera Corp Mobile camera system
US8866908B2 (en) 2004-12-27 2014-10-21 Kyocera Corporation Mobile camera system
JP2007028363A (en) * 2005-07-20 2007-02-01 Alpine Electronics Inc Top view image generating apparatus and top view image display method
JP4601505B2 (en) * 2005-07-20 2010-12-22 アルパイン株式会社 Top-view image generation apparatus and top-view image display method
JP2007328477A (en) * 2006-06-07 2007-12-20 Hitachi Ltd Communication system, communication terminal and information processor
US8159535B2 (en) 2006-06-07 2012-04-17 Hitachi, Ltd. Communication system, communication terminal and information processing device
JP4729440B2 (en) * 2006-06-07 2011-07-20 日立オートモティブシステムズ株式会社 Communication system, communication terminal, and information processing apparatus
JP2008090568A (en) * 2006-10-02 2008-04-17 Sumitomo Electric Ind Ltd Communication system and on-vehicle device
JPWO2008072305A1 (en) * 2006-12-11 2010-03-25 パイオニア株式会社 Information processing apparatus, information recording apparatus, information processing method, information recording method, information processing program, information recording program, and computer-readable recording medium
WO2008072305A1 (en) * 2006-12-11 2008-06-19 Pioneer Corporation Information processing apparatus, information recording apparatus, method of information processing, method of information recording, information processing program, information recording program and computer-readable recording medium
WO2008114385A1 (en) * 2007-03-19 2008-09-25 Pioneer Corporation Photographing image provision system, photographing management server, photographing management method, photographing management program and memory medium
JP4744633B2 (en) * 2007-03-19 2011-08-10 パイオニア株式会社 Shooting image providing system, shooting management server, shooting management method, shooting management program, and storage medium
JP2009021767A (en) * 2007-07-11 2009-01-29 Nippon Telegr & Teleph Corp <Ntt> Image providing device, image providing method, image providing program, and computer readable recording medium recorded with the program thereon
US8260544B2 (en) 2008-02-15 2012-09-04 Sharp Kabushiki Kaisha Mobile body navigation system, navigation apparatus and server apparatus
JP2010146429A (en) * 2008-12-22 2010-07-01 Sanyo Electric Co Ltd Image collection device, server device, and image collection and distribution system
JP2010233161A (en) * 2009-03-30 2010-10-14 Denso It Laboratory Inc Imaging system, terminal device, server device and imaging method
JP2013137653A (en) * 2011-12-28 2013-07-11 Nec Corp Image database system
JP2013152587A (en) * 2012-01-25 2013-08-08 Toyota Motor Corp Mobile information processing system
JP2014225782A (en) * 2013-05-16 2014-12-04 株式会社Nttドコモ Information processing device, communication terminal, and data acquisition method
WO2015128959A1 (en) * 2014-02-26 2015-09-03 三菱電機株式会社 Navigation system, image server, mobile terminal, navigation assistance method, and navigation assistance program
JPWO2015128959A1 (en) * 2014-02-26 2017-03-30 三菱電機株式会社 Navigation system, image server, portable terminal, navigation support method, and navigation support program
JP2016032258A (en) * 2014-07-30 2016-03-07 Kddi株式会社 Video transmission device, video transmission method, and video transmission program
JP2017004306A (en) * 2015-06-11 2017-01-05 株式会社デンソー Information processing device and information storage device

Also Published As

Publication number Publication date
JP3951786B2 (en) 2007-08-01

Similar Documents

Publication Publication Date Title
US8893026B2 (en) System and method for creating and broadcasting interactive panoramic walk-through applications
JP4366601B2 (en) Time shift image distribution system, time shift image distribution method, time shift image request device, and image server
JP3943674B2 (en) Camera control system, camera server and control method thereof
US8754785B2 (en) Image data collection from mobile vehicles with computer, GPS, and IP-based communication
US6088737A (en) Information processing system and control method thereof
US7010583B1 (en) Transport system
US6831598B2 (en) Method of exchanging data between a local device and a central server
US20050071046A1 (en) Surveillance system and surveillance robot
EP2314063B1 (en) Methods and apparatus for collecting image data from remotely located mobile communication devices
EP1469286A2 (en) Mobile communication system, mobile communication terminal and program therefor
KR100735085B1 (en) Communication device, image storage device, image pickup device, and control method thereof
US20080174676A1 (en) Producing enhanced photographic products from images captured at known events
JP4004515B2 (en) Digital still camera
US20030210806A1 (en) Navigational information service with image capturing and sharing
US20070188626A1 (en) Producing enhanced photographic products from images captured at known events
JP2006319876A (en) Image pick-up system and system control method
US6928230B2 (en) Associating recordings and auxiliary data
US20040105005A1 (en) Networked camera system and a monitoring method thereof
JP3424328B2 (en) The mobile terminal device
JP2013513295A (en) System and method for mobile communication device application
DE69833089T2 (en) Panoramic imaging system
US6914626B2 (en) Location-informed camera
JP4240739B2 (en) Electronic camera and information acquisition system
US7454090B2 (en) Augmentation of sets of image recordings
US6741864B2 (en) Associating image and location data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070416

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140511

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250