JP2004153750A

JP2004153750A - Image distribution system

Info

Publication number: JP2004153750A
Application number: JP2002319475A
Authority: JP
Inventors: Daizaburo Matsuki; 大三郎松木
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-11-01
Filing date: 2002-11-01
Publication date: 2004-05-27

Abstract

<P>PROBLEM TO BE SOLVED: To provide latest image data of a location that a user desires while suppressing labor costs required for photographing. <P>SOLUTION: In the image distribution system, in response to a transmission request of image data from the user, a server distributes the image data to the user. In a certain image distribution system, the server is provided with a communication part for receiving first location information indicating a desired location from the user and receiving second location information indicating its own location from a vehicle equipped with a radar and a camera for acquiring the second location information, and a control part for generating a photographing instruction signal instructing photographing of a location of the vehicle with the camera on the basis of the received first location information and second location information. The communication part receives the image data photographed by the camera on the basis of the photographing instruction signal and distributes the image data to the user. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、希望する位置の画像を効率的に取得する技術に関する。
【０００２】
【従来の技術】
カーナビゲーションシステムでは、予め作成され、所定の記憶媒体（ＤＶＤ−ＲＯＭ、ハードディスク等）に記憶された地図を用いて、ユーザは、現在の位置およびその周辺の情報を得ることができる。地図の精度は年々向上しており、さらに全地球測位システム（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ；ＧＰＳ）衛星からの電波をも利用して高精度に現在位置を特定し、豊富な周辺情報を入手できるようになっている（非特許文献１参照）。また、携帯電話や携帯情報端末のユーザであっても同様に、ＧＰＳ衛星からの電波を受信して位置を特定し、その周辺の地図および情報をサーバから得ることができる（非特許文献２参照）。
【０００３】
【非特許文献１】
日経産業新聞（２００２年３月７日付け、「３Ｄ地図価格１０分の１」）
【非特許文献２】
日経産業新聞（２００１年６月５日付け、「オージス総研」携帯端末向け表示システム）
【０００４】
【発明が解決しようとする課題】
従来は、全国的に網羅された、極めて多くの位置の周辺風景等を撮影して画像データを収集しなければならないため、人件費が非常にかさんでしまう。また、最新の画像に更新されるまでには少なくとも数ヶ月を要し、その位置の現在の状態を知りたい場合でも、ユーザは古い情報に頼らざるを得なかった。
【０００５】
なお、人件費を削減するために、カメラを備えた無線飛行機を飛ばして撮影する方法や、所定の位置にカメラを設置して撮影する方法が考えられる。しかし、前者の方法では、電波の届く範囲でしか撮影ができず、また、撮影したい正確な位置を特定することも困難である。一方後者の方法では、固定位置しか撮影できないため、カメラを設置していない位置の画像データを得ることができない。そしてあらゆる位置にカメラを設置することも現実的には不可能である。
【０００６】
本発明の目的は、人件費および画像管理費を抑えつつ、ユーザが希望する位置の最新の画像データを提供することである。
【０００７】
【課題を解決するための手段】
本発明は、ユーザからの画像データの送信要求に応じて、サーバが、該画像データをユーザに配信する画像配信システムに関する。
【０００８】
第１の画像配信システムでは、サーバは、ユーザから、所望の位置を示す第１の位置情報を受信し、かつ、車両の位置を示す第２の位置情報を取得するレーダおよびカメラを備えた車両から、該第２の位置情報を受信するサーバ通信部と、受信した前記第１の位置情報および前記第２の位置情報に基づいて、前記カメラにより車両の位置の撮影を指示する撮影指示信号を生成する制御部とを備えている。そして前記サーバ通信部は、前記撮影指示信号に基づいて前記カメラで撮影された画像データを受信し、該画像データをユーザに配信する。これにより上記目的が達成される。
【０００９】
制御部は、前記第２の位置情報が示す前記車両の位置が、前記第１の位置情報が示す前記所望の位置から所定の範囲内に入る場合に、同じ位置であると判定して、前記撮影指示信号を生成してもよい。
【００１０】
第２の画像配信システムでは、サーバは、ユーザから、所望の位置を示す第１の位置情報を受信して、車両に送信するサーバ通信部を備えている。また車両は、カメラと、車両の位置を示す第２の位置情報を取得するレーダと、前記サーバから前記第１の位置情報を受信する車両通信部と、受信した前記第１の位置情報、および、レーダを用いて取得した前記第２の位置情報に基づいて、前記カメラにより車両の現在の位置を撮影し、画像データを取得する処理部とを備えている。そして車両通信部は、取得した前記画像データを前記サーバに送信する。サーバのサーバ通信部は、前記画像データを前記車両から受信し、該画像データをユーザに配信する。これにより、上記目的が達成される。
【００１１】
処理部は、前記第２の位置情報が示す前記車両の位置が、前記第１の位置情報が示す前記所望の位置から所定の範囲内に入る場合に、同じ位置であると判定して、前記カメラにより車両の現在の位置を撮影してもよい。
【００１２】
第３の画像配信システムでは、サーバは、ユーザから、所望の位置を示す第１の位置情報を受信して、車両に送信するサーバ通信部を備えている。また車両は、カメラと、車両の位置を示す位置情報を取得するレーダと、カメラにより無作為に撮影した画像データ、および、レーダを用いて特定された、該画像データを取得したときの車両の位置を示す第２の位置情報を対応させて記憶する車両記憶部と、前記サーバから前記第１の位置情報を受信する車両通信部と、受信した前記第１の位置情報、および、前記第２の位置情報に基づいて、前記第２の位置情報に対応する前記画像データを車両記憶部から読み出す処理部とを備えている。そして車両通信部は、読み出された前記画像データを前記サーバに送信する。サーバのサーバ通信部は、前記画像データを前記車両から受信し、該画像データをユーザに配信する。これにより、上記目的が達成される。
【００１３】
処理部は、前記第２の位置情報が示す前記車両の位置が、前記第１の位置情報が示す前記所望の位置から所定の範囲内に入る場合に、同じ位置であると判定して、前記第２の位置情報に対応する前記画像データを車両記憶部から読み出してもよい。
【００１４】
前記サーバは、モニタ車両から受信した画像データと、その画像データを取得した位置を示す第３の位置情報とを対応付けて蓄積するサーバ記憶部をさらに備えていてもよい。そして、このサーバは、ユーザから前記第１の位置情報を受信したときに、前記第１の位置情報と、前記第３の位置情報とに基づいて、前記第３の位置情報に対応する前記画像データをサーバ記憶部から読み出し、前記サーバのサーバ通信部は、読み出された該画像データをユーザに配信する。
【００１５】
前記レーダは、複数のＧＰＳ衛星からの電波を用いて位置を特定するＧＰＳレーダであってもよい。
【００１６】
車両の前記カメラは、全方位に亘る画像を一度に撮影可能な全方位カメラであってもよい。または車両の前記カメラは、特定の方向の画像を撮影可能なカメラであってもよい。
【００１７】
車両は、方位を特定可能な地磁気センサをさらに備え、撮影した画像データに、地磁気センサにより検出された方位情報を付加してもよい。
【００１８】
サーバ記憶部は、ユーザに対する課金情報をさらに保持し、サーバは、ユーザからの前記送信要求に応じて前記課金情報を更新し、ユーザに課金してもよい。
【００１９】
【発明の実施の形態】
以下、添付の図面を参照して、本発明の実施の形態を説明する。以下では、各実施の形態を説明する前に、本発明が適用される共通の画像配信システムを説明する。
【００２０】
図１は、画像配信システム１０の概略を説明する模式図である。画像配信システム１０は、サーバ局１と、モニタ車両２と、ユーザ側機器３と、ＧＰＳ衛星４とを含む。本発明の画像配信システムでは、自動車等に全方位カメラ６を設置して、ユーザが撮影を希望する位置付近で撮影した周辺風景の画像データをサーバに送信する。ユーザは、サーバを介してその最新の画像データを受け取ることができる。
【００２１】
まずサーバ局１は、ユーザがユーザ側機器３を介して、無線またはネットワーク７を利用した有線で、撮影を希望する位置の情報（撮影位置情報）をユーザから受け取る。サーバ局１は、ある程度の画像データを蓄積したサーバ５を含む。サーバ５は従来から利用されている地図データのデータベースサーバ等をそのまま利用できる。サーバ５は、撮影位置情報に対応する位置の画像データを蓄積しているか否かを検索する。またはサーバ５は、その撮影位置情報に対応する位置の画像データや、モニタ車両２の位置情報等をモニタ車両２から受信する。サーバ５は、蓄積していた画像データ、または、モニタ車両２から受信した画像データを、ユーザ側機器３へ送信する。
【００２２】
モニタ車両２は、全方位カメラ６を装着した車両、例えば、タクシー、レンタカー、運送者等の業務用車両、および／または、契約した一般車両である。モニタ車両２は全地球測位システム衛星４を利用して、その位置（少なくとも緯度および経度）を特定可能である。モニタ車両２の位置は、無線等でサーバ５に送信される。モニタ車両２は、サーバ５からの指示により、または、サーバ５から送信された撮影位置情報に基づいて周辺の画像を撮影し、サーバ５に送信する。
【００２３】
ユーザ側機器３は、画像配信サービスを受けるユーザが利用する機器である。すなわちユーザは、ユーザ側機器３を用いて画像データの配信をサーバ５に要求し、ユーザ側機器３を用いて、サーバ５から配信された画像データを受信する。より具体的には、ユーザ側機器３は、電波による無線またはネットワーク７を利用した有線で撮影位置情報をサーバ局１のサーバ５に送信し、サーバ５から画像データを受信する。「撮影位置情報」は、例えば緯度および経度が特定された位置情報であり、さらに海抜高度を特定することもできる。ユーザが移動しながら画像データを入手したい場合には、ユーザ側機器３は、無線通信可能な自動車３−１（より詳しくは、通信機能を備えた自動車３−１のカーナビゲーションシステム）、携帯端末３−２等である。ユーザが自宅等の固定された位置で画像データを入手したい場合には、ユーザ側機器３は、ＰＣ３−３である。入手した撮影位置情報に対応する画像データは、光ディスク等の記録媒体３−４に記録されてリムーバブルメディアとしてユーザに提供できる。
【００２４】
全地球測位システム（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ；ＧＰＳ）衛星４は、電波を発しており、それを受信することにより、モニタ車両２、ユーザの自動車３−１等は自らの位置を特定できる。より詳しくは、現在、２４台のＧＰＳ衛星４が地球上空の軌道を周回している。実質的に３台のＧＰＳ衛星４からの電波を受信すると、モニタ車両２等は、２次元（緯度・経度）の位置を特定でき、４台以上の衛星からの電波を受信すると、海抜を加えた３次元の位置も特定できる。
【００２５】
図２は、サーバ局１（図１）のサーバ５の構成を示すブロック図である。サーバ５は、中央演算処理装置（ＣＰＵ）２１と、メインメモリ２２と、入力部２３と、表示部２４と、通信部２５と、ハードディスク２６と、大容量記憶装置２７とを備えている。これらはデータバスを通じて相互に接続されており、データを送受信できる。サーバ５は、汎用のＰＣを利用して構築できる。
【００２６】
以下、サーバ５の各構成要素を説明する。ＣＰＵ２１は、メインメモリ２２に記憶されている動作プログラムに基づいてデータバスを介して命令を送り、サーバ５全体の動作を制御する。ＣＰＵ２１の制御によるサーバ５の主要な動作は、図１１〜図１３を参照して後述する。
【００２７】
メインメモリ２２は、図１１〜図１３に記載されたフローチャートの処理（サーバの画像データ配信処理）を実現するコンピュータプログラムが記憶されている。またメインメモリ２２は、モニタ車両２（図１）から受信した画像データ、ユーザ側機器３から受信した撮影位置情報を一時的に記憶して、ハードディスク２６または大容量記憶装置２７に記録する。入力部２３は、サーバ５の管理者がサーバ５の保守を行う際に使用するキーボード、マウス等の入力装置である。表示部２４は、サーバ５の処理画面等を表示する周知のディスプレイである。
【００２８】
通信部２５は、サーバ５が、モニタ車両２およびユーザ側機器３（図１）等の外部の機器とデータの送受信を行うインターフェースである。通信部２５は、無線通信用および有線通信用の各インターフェースを含み、所定の通信プロトコルを利用して通信を行う。
【００２９】
ハードディスク２６は、大容量の二次記憶装置であり、ユーザ側機器３からの撮影位置情報２６−１、および、モニタ車両２からの画像データ２６−２を記憶する。なお画像データ２６−２は、モニタ車両２から受信したデータに限られず、従来から蓄積されてきた画像データを含んでもよい。いずれの場合でも、画像データには、その画像を撮影した位置の情報が対応付けて記憶されている。よって、位置の情報から、希望する画像を特定して読み出すことができる。大容量記憶装置２７は、ハードディスク２６よりもさらに大容量のデータを記憶可能な記憶装置である。記憶するデータは、主に画像データ２６−２である。一般に画像データはデータサイズが大きいため、このような第３次記憶装置を設けている。なおハードディスク２６のみで足りる場合には、大容量記憶装置２７を設けなくてもよい。
【００３０】
続いて、モニタ車両２（図１）のデータ処理に関連する構成を説明する。モニタ車両２の具体的な車両構造は、本発明の内容とは特に関連がないためその説明は省略する。図３は、モニタ車両２の構成を示すブロック図である。モニタ車両２は、ＣＰＵ３１と、メインメモリ３２と、入力部３３と、表示部３４と、通信部３５と、ハードディスク３６と、全方位カメラ６と、ＧＰＳレーダ３８とを備えている。このようなデータ処理機構は、例えばモニタ車両２に装着されたカーナビゲーションシステムを用いて実現される。
以下、モニタ車両２の各構成要素を説明する。同名の構成要素は、実質的にはサーバ５（図２）の構成要素と同じ機能を有することに留意されたい。ＣＰＵ３１は、メインメモリ３２に記憶されている動作プログラムに基づいてデータバスを介して命令を送り、モニタ車両２のデータ処理機構全体の動作を制御する。ＣＰＵ３１の制御によるモニタ車両２の主要な動作は、図１１〜図１３を参照して後述する。
【００３１】
メインメモリ３２は、図１１〜図１３に記載されたフローチャートの処理（モニタ車両の撮影処理）を実現するコンピュータプログラムが記憶されている。またメインメモリ３２は、サーバ５（図１）から受信した撮影指示信号、または、撮影位置情報を一時的に記憶して、ハードディスク３６に記録する。入力部３３は、例えば、カーナビゲーションシステムにおける操作ボタン、または、表示部２４と一体的に構成されたタッチパネル等の入力装置である。表示部２４は、カーナビゲーションシステムの地図等を表示する周知のディスプレイである。
【００３２】
通信部３５は、モニタ車両２が、サーバ５（図１）等の外部とデータの送受信を行うインターフェースである。通信部２５は、無線通信用のインターフェースを含み、所定の通信プロトコルを利用して通信を行う。モニタ車両２が受信するデータは、上述のようにサーバ５（図１）からの撮影指示信号、または、撮影位置情報である。一方、モニタ車両２がサーバ５（図１）に送信するデータは、撮影した画像データ、および、モニタ車両２の位置情報等である。ハードディスク３６は、大容量の二次記憶装置であり、サーバ５からの撮影位置情報３６−１、および、撮影した画像データ３６−２を記憶する。ＧＰＳレーダ３８は、ＧＰＳ衛星４（図１）からの電波を受信する周知のレーダである。ＧＰＳレーダ３８において受信した、３個以上のＧＰＳ衛星４からの電波に基づいて、モニタ車両２は現在の位置に関する情報（緯度、経度、および必要であれば海抜高度）を知ることができる。
【００３３】
全方位カメラ６は、本明細書では周囲３６０度を撮影可能なカメラである。そのため、例えばモニタ車両２の最も高い位置、例えば自動車の屋根の上に装着される。以下、図４〜１０を参照して、全方位カメラ６の具体的な構成を説明する。図４は、全方位カメラ６を用いて周囲の風景４０を撮影する場合の模式図である。全方位カメラ６は、曲面ミラー（斜線部）を有し、このミラーにより、全方位の風景４０を集光する。そして、曲面ミラー下部の焦点位置に配置された撮像部（ＣＣＤカメラ）を用いて、曲面ミラーに映った円環状の風景４０を撮影する。図５は、風景４０（図４）を撮影して得られた画像データ５０を示す。
【００３４】
次にこのような円環状の画像データ５０に対して画像処理を施し、展開したパノラマ画像を生成する。図６は、円環状画像をパノラマ画像に変換した例を示す図である。パノラマ画像６０および／またはパノラマ画像６０やその一部分の画像への変換は、例えばＣＰＵ３１（図３）が、撮影された円環状画像５０の内周部分に画像処理を施して相対的に拡張し、または、外周部分に画像処理を施して相対的に圧縮するコンピュータプログラムを実行して行う。画像のスケール変換に関する処理は数多く知られており、本発明ではどの処理を用いるかは特に限定することはない。よってこれらの具体的な処理の説明は省略する。
【００３５】
以上説明した周囲３６０°を撮影する装置として、全方位カメラは近年よく使用されている。以下例を挙げて説明する。図７は、第１の例による全方位カメラを示す図である。この全方位カメラは、特開平１１−３３１６５４の図２に記載の全方位視覚センサと同じである。また図８は、第２の例による全方位カメラを示す図である。この全方位カメラは、特開平１０−５４９３９の図３に記載の反射式画角変換光学装置において実現されている。図７および図８の全方位カメラの光学系は、従来のレンズのみを用いた屈折光学系と異なり、いわゆるカタジオプトリック光学系を採用しているのが特徴である。特に回転体ミラーを用いた全方位カメラとしては、回転対称球面ミラー、回転対称２次曲面（放物面、だ円面、双曲面）ミラーを利用したカメラが知られている。以下では双曲面ミラーを用いた全方位カメラを例に説明する。
【００３６】
図９は、１枚の凸型双曲面ミラー９１を用いた全方位カメラの光学系の原理を示す図である。全方位カメラは、鉛直下向きに設置した焦点９２を持つ凸型双曲面ミラー９１と、その直下に鉛直上向きに設置したＣＣＤカメラ９５を有する。２つの焦点を持つという双曲面の性質を利用すると、ＣＣＤカメラ９５のレンズ中心位置を凸型双曲面ミラー９１と共役な双曲面９３の焦点９４に設定することで、幾何光学的に焦点９２に向かった光線が焦点９４を通る光学系を実現できる。この際にできる座標系は、透視変換座標系となる。
【００３７】
上述の全方位カメラによれば、周囲３６０°という超広範囲に亘る画像を一度に撮影できるため、機械的な駆動部分が必要ない。よって部品点数が少なくなり製造コストを抑えられるとともに、メンテナンスが容易である。また得られた画像により、周辺の風景、様子をもれなく把握できる。なお、通常使われる監視用カメラシステムでは、カメラを機械的に首振り運動させることにより、一定の範囲を撮影する。すなわち、従来のカメラシステムでは、カメラに機械的な駆動部分を設ける必要がある。これは部品点数が多く構造的に複雑になり、かつ製造コストが増加する。また駆動部分のメンテナンスが必要となり、煩雑である。
【００３８】
なお全方位カメラ以外にも、特定の方向の画像を撮影可能な広角カメラを利用することができる。例えば、魚眼レンズを備えたカメラである。魚眼レンズで撮影した場合も同様に、パノラマ画像やその一部分の画像に変換できる。さらに屈折光学系の広角カメラを用いてもよい。図１０は、屈折光学系広角カメラのレンズ構成を示す図である。このレンズ構成は、特許公報第２９９２５４７号の図１に記載の広角カメラと同じである。広角カメラは、監視や車載等の用途に用いられることが多い。レンズの構成枚数が従来の魚眼レンズと比較して少なく、コンパクトで明るい。よって比較的容易に広範囲に亘る撮影を一度に行うことができる。
【００３９】
以上、サーバ５（図２）およびモニタ車両２（図３）の各構成要素を説明した。次に、図１１〜１３を参照して、本発明の実施の形態を説明する。
【００４０】
（実施の形態１）
実施の形態１では、サーバ５（図１）が各モニタ車両２（図１）の位置を把握し、モニタ車両２が、ユーザからの撮影位置情報で指定された位置の近傍に存在する場合には、そのモニタ車両２に対して周辺を撮影するよう指示する。そして指示を受けたモニタ車両２は、自動的に現在位置の周辺を撮影する。以下、より具体的にその内容を説明する。
【００４１】
図１１は、実施の形態１による処理の流れを示すフローチャートである。図の左側の処理フローが、サーバ５（図１）がユーザに画像データを配信する処理である。一方右側の処理フローは、モニタ車両２（図１）が撮影を行う処理である。
【００４２】
まずサーバ５（図１）は、ユーザ側機器３を介して、ユーザから撮影位置情報を受信する（ステップＳ１１１）。するとサーバ５は、撮影位置情報により指定された位置近傍の画像データが存在するか、ハードディスク２６および大容量記憶装置２７を検索する（ステップＳ１１２）。上述のように、蓄積されている画像データには、その画像を撮影した位置の情報が対応付けて記憶されている。そして撮影位置情報に応じた画像データ（以下、「要求画像データ」と称する）が存在する場合（ステップＳ１１３のＹＥＳの場合）には、その要求画像データをユーザに送信する（ステップＳ１１９）。なお、この検索処理は、モニタ車両２の数が増加し、許容できる時間内に最新の画像データを提供できる場合には特に設けなくてもよい。その場合には、サーバ５において、ハードディスク２６、大容量記憶装置２７内に画像データを蓄積する必要もなくなり、画像管理費に要するコストを大幅に削減できる。
【００４３】
検索の結果、要求画像データが存在しない場合（ステップＳ１１３のＮＯの場合）には、撮影位置情報によって指定される位置の近傍に、モニタ車両２が存在するか否かを判定する（ステップＳ１１４）。この判定は、各モニタ車両２から逐次受信しているモニタ車両２の現在の位置情報に基づいて行われる。判定の結果、存在しない場合には、モニタ車両２が当該指定位置の近傍に来るまで監視を継続する。一方、モニタ車両２が当該指定位置の近傍に存在する場合には、ＣＰＵ２１はそのモニタ車両２に撮影指示信号を送信して（ステップＳ１１５）、モニタ車両２に撮影を行わせる、そしてサーバ５は、撮影された結果である要求画像データの受信を待つ。
【００４４】
モニタ車両２は、サーバ５から撮影指示信号を受信すると、その信号に基づいて全方位カメラ６で現在位置およびその周辺を自動的に撮影し、画像データを取得する（ステップＳ１１６）。モニタ車両２は、取得した画像データをサーバ５に送信する（ステップＳ１１７）。この画像データが、上述の要求画像データに相当する。モニタ車両２は、サーバ５からの撮影指示信号の受信に応じてカメラで撮影するだけでよいので、図示されるように処理が非常に簡単になる。よって、カーナビゲーションシステム等の処理能力に負担をかけることなく、かつその資源を有効に利用できる。なお撮影指示信号の受信に応答して、モニタ車両２の表示部３４（図３）に撮影指示を表示し、そのモニタ車両２の運転者がマニュアル撮影を行ってもよい。モニタ車両２の運転者を介して撮影を行う場合には、例えば無償でカーナビゲーションシステムをレンタルする等のサービスで運転者に還元すればよい。
【００４５】
サーバ５は、モニタ車両２から要求画像データを受信すると（ステップＳ１１８）、その要求画像データをユーザに送信する（ステップＳ１１９）。以上のように画像データの配信処理が行われる。本実施の形態によれば、サービス提供者にとっては、撮影のための人件費が必要なくなり、またユーザにとっては、自分が赴けない位置の現在の画像を容易に得ることができる。よって非常に利用価値の高い画像データの配信サービスが提供できる。
【００４６】
（実施の形態２）
実施の形態２では、各モニタ車両２（図１）がサーバ（図１）から撮影位置情報を受信して保持し、自らがその位置の近傍に来た場合に、現在位置の周辺を撮影する。以下、より具体的にその内容を説明する。
【００４７】
図１２は、実施の形態２による処理の流れを示すフローチャートである。図の左側の処理フローが、サーバ５（図１）がユーザに画像データを配信する処理である。一方右側の処理フローは、モニタ車両２（図１）が撮影を行う処理である。サーバ５の処理のうち、ステップＳ１１１〜Ｓ１１３は、実施の形態１の図１１の説明と同じであるので、その説明は省略する。なお、撮影位置情報に応じた画像データは、以下も同様に「要求画像データ」と称する。
【００４８】
サーバ５は、ハードディスク２６等に要求画像データが存在しない場合（ステップＳ１１３のＮＯの場合）には、モニタ車両２にその撮影位置情報を送信する（ステップＳ１２１）。そして、撮影された結果である要求画像データの受信を待つ。
【００４９】
モニタ車両２は、サーバ５から撮影位置情報を受信して、ハードディスク３６（図３）等に記録する。図３には、ハードディスク３６に記録された撮影位置情報３６−１を示す。ユーザが複数の場合には、撮影位置情報も複数記録されうる。モニタ車両２のＣＰＵ３１（図３）は、記録した撮影位置情報３６−１を参照して、現在位置が、撮影位置情報により特定される位置の近傍か否かを判定する（ステップＳ１２３）。判定の結果、近傍でない場合には、モニタ車両２が当該指定位置の近傍に来るまで監視を継続する。一方、モニタ車両２が当該指定位置の近傍に存在する場合には、全方位カメラ６で現在位置およびその周辺を自動的に撮影し、画像データを取得する（ステップＳ１２４）。モニタ車両２は、取得した画像データをサーバ５に送信する（ステップＳ１２５）。この画像データが、上述の要求画像データに相当する。
【００５０】
サーバ５は、モニタ車両２から要求画像データを受信すると（ステップＳ１２６）、その要求画像データをユーザに送信する（ステップＳ１２７）。
【００５１】
以上のように、モニタ車両２は、撮影位置情報に基づいて、撮影を行うか否かを自ら判断する。サーバ５は全てのモニタ車両２の位置を把握する必要がなくなり、また、処理も各モニタ車両２において分散されるので、全体としての負荷が軽減され、効率よく画像配信システム１０を運用できる。なお実施の形態１で述べたように、サービス提供者にとっては撮影のための人件費が必要なくなり、ユーザにとっては、自分が赴けない位置の現在の画像を容易に得ることができる。よって非常に利用価値の高い画像データの配信サービスが提供できる。
【００５２】
（実施の形態３）
実施の形態３では、各モニタ車両２（図１）は無作為に撮影を行い、画像データと、その画像データの撮影位置の情報を蓄積しておく。そして、画像データの撮影位置が、サーバ５から受信した撮影位置情報により特定される位置の近傍であった場合には、対応する画像データをサーバ５に送信する。以下、より具体的にその内容を説明する。
【００５３】
図１３は、実施の形態３による処理の流れを示すフローチャートである。図の左側の処理フローが、サーバ５（図１）がユーザに画像データを配信する処理である。一方右側の処理フローは、モニタ車両２（図１）が撮影を行う処理である。サーバ５の処理のうち、ステップＳ１１１〜Ｓ１１３は、実施の形態１の図１１の説明と同じであるので、その説明は省略する。なお、撮影位置情報に応じた画像データは、以下も同様に「要求画像データ」と称する。
【００５４】
サーバ５は、ハードディスク２６等に要求画像データが存在しない場合（ステップＳ１１３のＮＯの場合）には、モニタ車両２にその撮影位置情報を送信する（ステップＳ１３２）。そして、撮影された結果である要求画像データの受信を待つ。
【００５５】
モニタ車両２は、予め無作為に全方位カメラ６（図３）で周辺を撮影し、画像データと、その画像データを取得した位置の情報（以下「取得位置情報」と称する）とを対応して蓄積しておく（ステップＳ１３１）。「無作為に」とは、例えば、モニタ車両２の走行に応じて適当な時間間隔で、という意味である。また取得位置情報は、ＧＰＳレーダ３８で受信した電波により得ることができる。また「対応して」とは、取得位置情報から、その位置で撮影した画像データを特定できるように関連させて、という意味である。
【００５６】
モニタ車両２がサーバ５から撮影位置情報を受信すると、ハードディスク３６（図３）に逐次記録し、蓄積していた取得位置情報と、受信した撮影位置情報とを対比する（ステップＳ１３３）。その結果、画像データを取得した位置が撮影位置情報により特定される位置の近傍である場合には、すでに画像データが得られているとして、対応する画像データをサーバに送信する（ステップＳ１３４）。
【００５７】
サーバ５は、モニタ車両２から要求画像データを受信すると（ステップＳ１３５）、その要求画像データをユーザに送信する（ステップＳ１３６）。
【００５８】
本実施の形態によれば、モニタ車両２は予め無作為に撮影を行い、画像データを蓄積しておくので、希望する位置を撮影した画像が、より早く得られる可能性が高くなる。撮影された時間とユーザに提供された時間との間には時間差が生じるが、この時間差は、数日以内、数時間以内等のように許容値を適当に定めることで、ほぼ最新の情報として提供できる。なお実施の形態１で述べたように、サービス提供者にとっては撮影のための人件費が必要なくなり、ユーザにとっては、自分が赴けない位置の現在の画像を容易に得ることができる。よって非常に利用価値の高い画像データの配信サービスが提供できる。
【００５９】
これまで、本発明が適用される画像配信システム、および、本発明の実施の形態１〜３を説明した。以上の説明においては、撮影位置情報により指定される撮影を希望する位置や、モニタ車両２の現在の位置、および、取得位置情報（実施の形態３）により指定される位置は、必ずしも厳密でなくてもよい。ＧＰＳを用いた位置の特定には、誤差があるからである。よって、ある位置が他の位置から所定の範囲内（例えば、数ｍ〜十数ｍの範囲内）にある場合には、同じ位置を示していると判定すればよい。このように数ｍ〜十数ｍの誤差を許容すれば、ユーザは、緯度・経度のみならず、ランドマーク、交差点名称等の名称で指定することができる。
【００６０】
さらに、位置はＧＰＳのみならず、携帯電話、ＰＨＳの基地局が発する電波によっても特定できる。また従来から使用されてきた、自動車の車速、走行距離、方位を特定可能な地磁気センサを用いて検出した撮影方位、ジャイロセンサを用いて検出した高さ等も利用できる。精度の面から、これらは単独よりも組み合わせて用いる方が好ましい。なお地磁気センサを用いた場合には、撮影した画像データに、地磁気センサを用いて検出した、撮影方向を示す方位情報を付加してもよい。これにより、例えば、全方位のパノラマ画像を、方位に応じて表示位置を変更して表示できる。またユーザがランドマークを指定した場合には、車両の位置からランドマークの方向を撮影した画像データを切り取って利用することもできる。
【００６１】
また以上の説明では、主として全方位カメラ６（図３）を用いて説明したが、全方位を撮影できない広角カメラを用いることもできる。この場合には、上述した地磁気センサを用いて撮影した方位の情報（撮影方位情報）をも保持し、位置のみならず方位に関して概ね一致したか否かも判断すればよい。
【００６２】
本発明を適用できる画像配信システム１０（図１）で実際にサービスの提供を行う場合には、サーバ５（図１）のハードディスク２６（図２）に、ユーザに対する課金情報を保持させておく。そしてユーザからの要求に応じて（例えばユーザが画像データを要求した回数、希望位置へのアクセスの難易度）課金情報を更新し、ユーザに課金すればよい。
【００６３】
【発明の効果】
本発明によれば、モニタ車両により自動的に撮影するため、撮影のために必要な人件費が不要になる。また、実質的にリアルタイムで、ユーザが希望する位置の現在の画像を容易に得ることができる。
【図面の簡単な説明】
【図１】画像配信システム１０の概略を説明する模式図である。
【図２】サーバ局のサーバの構成を示すブロック図である。
【図３】モニタ車両の構成を示すブロック図である。
【図４】全方位カメラを用いて周囲の風景を撮影する場合の模式図である。
【図５】風景を撮影して得られた画像データを示す図である。
【図６】円環状画像をパノラマ画像に変換した例を示す図である。
【図７】第１の例による全方位カメラを示す図である。
【図８】第２の例による全方位カメラを示す図である。
【図９】１枚の凸型双曲面ミラーを用いた全方位カメラの光学系の原理を示す図である。
【図１０】屈折光学系広角カメラのレンズ構成を示す図である。
【図１１】実施の形態１による処理の流れを示すフローチャートである。
【図１２】実施の形態２による処理の流れを示すフローチャートである。
【図１３】実施の形態３による処理の流れを示すフローチャートである。
【符号の説明】
１サーバ局
２モニタ車両
３ユーザ側機器
４ＧＰＳ衛星
５サーバ
６全方位カメラ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique for efficiently acquiring an image at a desired position.
[0002]
[Prior art]
In a car navigation system, a user can obtain information on a current position and information on the periphery thereof using a map created in advance and stored in a predetermined storage medium (DVD-ROM, hard disk, or the like). The accuracy of maps has been improving year by year, and the current position can be specified with high accuracy by using radio waves from Global Positioning System (GPS) satellites, and abundant peripheral information can be obtained. (See Non-Patent Document 1). Similarly, even a user of a mobile phone or a portable information terminal can receive a radio wave from a GPS satellite, specify a position, and obtain a map and information around the position from a server (see Non-Patent Document 2). ).
[0003]
[Non-patent document 1]
Nikkei Sangyo Shimbun (3D map price 1/10, March 7, 2002)
[Non-patent document 2]
Nikkei Sangyo Shimbun (Ogis Research Institute, June 5, 2001, display system for mobile terminals)
[0004]
[Problems to be solved by the invention]
Conventionally, image data must be collected by photographing the surrounding scenery and the like at an extremely large number of locations that are covered nationwide, so that the labor cost is extremely high. In addition, it takes at least several months to update to the latest image, and even if the user wants to know the current state of the position, the user has to rely on old information.
[0005]
In order to reduce labor costs, a method of shooting by flying a wireless airplane equipped with a camera, or a method of installing a camera at a predetermined position and shooting can be considered. However, with the former method, it is possible to take a picture only within a range where radio waves can reach, and it is also difficult to specify an accurate position to take a picture. On the other hand, in the latter method, since only a fixed position can be photographed, image data at a position where no camera is installed cannot be obtained. And it is practically impossible to install cameras at every position.
[0006]
An object of the present invention is to provide the latest image data at a position desired by a user while suppressing labor costs and image management costs.
[0007]
[Means for Solving the Problems]
The present invention relates to an image distribution system in which a server distributes image data to a user in response to a request for transmission of image data from the user.
[0008]
In the first image distribution system, the server receives, from the user, first position information indicating a desired position, and obtains second position information indicating the position of the vehicle. A server communication unit that receives the second position information; and a photographing instruction signal that instructs the camera to photograph a position of the vehicle based on the received first position information and the second position information. And a control unit for generating. Then, the server communication unit receives image data shot by the camera based on the shooting instruction signal, and distributes the image data to a user. This achieves the above object.
[0009]
The control unit determines that the position of the vehicle indicated by the second position information is within the predetermined range from the desired position indicated by the first position information, and determines that the positions are the same, A shooting instruction signal may be generated.
[0010]
In the second image distribution system, the server includes a server communication unit that receives first position information indicating a desired position from a user and transmits the first position information to the vehicle. Also, the vehicle may include a camera, a radar that acquires second position information indicating a position of the vehicle, a vehicle communication unit that receives the first position information from the server, and the received first position information, And a processing unit for photographing the current position of the vehicle with the camera based on the second position information acquired by using a radar and acquiring image data. Then, the vehicle communication unit transmits the obtained image data to the server. A server communication unit of the server receives the image data from the vehicle and distributes the image data to a user. Thereby, the above object is achieved.
[0011]
The processing unit determines that the vehicle position indicated by the second position information is the same position when the vehicle position is within a predetermined range from the desired position indicated by the first position information, The current position of the vehicle may be photographed by a camera.
[0012]
In the third image distribution system, the server includes a server communication unit that receives first position information indicating a desired position from a user and transmits the first position information to the vehicle. Further, the vehicle has a camera, a radar for acquiring position information indicating a position of the vehicle, image data randomly photographed by the camera, and a vehicle identified when the image data is acquired using the radar. A vehicle storage unit that stores second position information indicating a position in association with the vehicle, a vehicle communication unit that receives the first position information from the server, the received first position information, and the second A processing unit that reads out the image data corresponding to the second position information from a vehicle storage unit based on the position information. Then, the vehicle communication unit transmits the read image data to the server. A server communication unit of the server receives the image data from the vehicle and distributes the image data to a user. Thereby, the above object is achieved.
[0013]
The processing unit determines that the vehicle position indicated by the second position information is the same position when the vehicle position is within a predetermined range from the desired position indicated by the first position information, The image data corresponding to the second position information may be read from a vehicle storage unit.
[0014]
The server may further include a server storage unit that stores the image data received from the monitor vehicle in association with third position information indicating a position where the image data is acquired. Then, when the server receives the first position information from a user, the server determines the image corresponding to the third position information based on the first position information and the third position information. The data is read from the server storage unit, and the server communication unit of the server distributes the read image data to the user.
[0015]
The radar may be a GPS radar that specifies a position using radio waves from a plurality of GPS satellites.
[0016]
The camera of the vehicle may be an omnidirectional camera that can capture an omnidirectional image at a time. Alternatively, the camera of the vehicle may be a camera capable of capturing an image in a specific direction.
[0017]
The vehicle may further include a geomagnetic sensor capable of specifying the direction, and may add the direction information detected by the geomagnetic sensor to the captured image data.
[0018]
The server storage unit may further hold charging information for the user, and the server may update the charging information in response to the transmission request from the user and charge the user.
[0019]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. Hereinafter, before describing each embodiment, a common image distribution system to which the present invention is applied will be described.
[0020]
FIG. 1 is a schematic diagram illustrating an outline of the image distribution system 10. The image distribution system 10 includes a server station 1, a monitoring vehicle 2, a user device 3, and a GPS satellite 4. In the image distribution system of the present invention, the omnidirectional camera 6 is installed in a car or the like, and image data of the surrounding scenery shot near the position where the user wants to shoot is transmitted to the server. The user can receive the latest image data via the server.
[0021]
First, the server station 1 receives, from the user, information on the position at which the user wants to take an image (imaging position information) via the user-side device 3 by wireless or by wire using the network 7. The server station 1 includes a server 5 that stores some image data. As the server 5, a database server for map data which has been conventionally used can be used as it is. The server 5 searches whether image data at a position corresponding to the shooting position information is stored. Alternatively, the server 5 receives image data of a position corresponding to the photographing position information, position information of the monitor vehicle 2, and the like from the monitor vehicle 2. The server 5 transmits the stored image data or the image data received from the monitor vehicle 2 to the user device 3.
[0022]
The monitor vehicle 2 is a vehicle equipped with the omnidirectional camera 6, for example, a business vehicle such as a taxi, a rental car, a carrier, and / or a contracted general vehicle. The monitor vehicle 2 can specify its position (at least latitude and longitude) by using the global positioning system satellite 4. The position of the monitor vehicle 2 is transmitted to the server 5 by radio or the like. The monitor vehicle 2 captures a peripheral image based on an instruction from the server 5 or based on the capturing position information transmitted from the server 5, and transmits the captured image to the server 5.
[0023]
The user-side device 3 is a device used by a user who receives an image distribution service. That is, the user requests the server 5 to distribute the image data using the user-side device 3 and receives the image data distributed from the server 5 using the user-side device 3. More specifically, the user-side device 3 transmits the photographing position information to the server 5 of the server station 1 by radio using radio waves or by wire using the network 7, and receives image data from the server 5. The “imaging position information” is, for example, position information in which the latitude and longitude are specified, and can further specify the altitude above sea level. When the user wants to obtain image data while moving, the user-side device 3 includes a car 3-1 capable of wireless communication (more specifically, a car navigation system of the car 3-1 having a communication function) and a mobile terminal. 3-2 and so on. If the user wants to obtain image data at a fixed position such as at home, the user-side device 3 is the PC 3-3. The image data corresponding to the obtained photographing position information is recorded on a recording medium 3-4 such as an optical disk and can be provided to a user as a removable medium.
[0024]
The Global Positioning System (GPS) satellite 4 emits radio waves, and by receiving the radio waves, the monitor vehicle 2, the user's automobile 3-1 and the like can specify their own positions. More specifically, at present, 24 GPS satellites 4 are orbiting the earth. When receiving radio waves from substantially three GPS satellites 4, the monitor vehicle 2 and the like can specify a two-dimensional (latitude / longitude) position, and when receiving radio waves from four or more satellites, add an altitude. The three-dimensional position can also be specified.
[0025]
FIG. 2 is a block diagram showing a configuration of the server 5 of the server station 1 (FIG. 1). The server 5 includes a central processing unit (CPU) 21, a main memory 22, an input unit 23, a display unit 24, a communication unit 25, a hard disk 26, and a large-capacity storage device 27. These are mutually connected through a data bus, and can transmit and receive data. The server 5 can be constructed using a general-purpose PC.
[0026]
Hereinafter, each component of the server 5 will be described. The CPU 21 sends an instruction via a data bus based on an operation program stored in the main memory 22 and controls the operation of the entire server 5. The main operation of the server 5 under the control of the CPU 21 will be described later with reference to FIGS.
[0027]
The main memory 22 stores a computer program that implements the processing of the flowcharts described in FIGS. 11 to 13 (image data distribution processing of the server). Further, the main memory 22 temporarily stores the image data received from the monitor vehicle 2 (FIG. 1) and the photographing position information received from the user-side device 3 and records them on the hard disk 26 or the large-capacity storage device 27. The input unit 23 is an input device such as a keyboard and a mouse used when the administrator of the server 5 performs maintenance on the server 5. The display unit 24 is a known display that displays a processing screen of the server 5 and the like.
[0028]
The communication unit 25 is an interface through which the server 5 transmits and receives data to and from external devices such as the monitor vehicle 2 and the user-side device 3 (FIG. 1). The communication unit 25 includes interfaces for wireless communication and wired communication, and performs communication using a predetermined communication protocol.
[0029]
The hard disk 26 is a large-capacity secondary storage device, and stores imaging position information 26-1 from the user-side device 3 and image data 26-2 from the monitor vehicle 2. Note that the image data 26-2 is not limited to the data received from the monitor vehicle 2, and may include conventionally accumulated image data. In any case, information on the position where the image was taken is stored in the image data in association with each other. Therefore, a desired image can be specified and read out from the position information. The large-capacity storage device 27 is a storage device capable of storing data of a larger capacity than the hard disk 26. The data to be stored is mainly the image data 26-2. Generally, since the image data has a large data size, such a tertiary storage device is provided. If only the hard disk 26 is sufficient, the mass storage device 27 may not be provided.
[0030]
Subsequently, a configuration related to data processing of the monitor vehicle 2 (FIG. 1) will be described. The specific vehicle structure of the monitor vehicle 2 is not particularly related to the contents of the present invention, and therefore the description thereof is omitted. FIG. 3 is a block diagram illustrating a configuration of the monitor vehicle 2. The monitor vehicle 2 includes a CPU 31, a main memory 32, an input unit 33, a display unit 34, a communication unit 35, a hard disk 36, an omnidirectional camera 6, and a GPS radar 38. Such a data processing mechanism is realized using, for example, a car navigation system mounted on the monitor vehicle 2.
Hereinafter, each component of the monitor vehicle 2 will be described. It should be noted that components with the same name have substantially the same functions as the components of the server 5 (FIG. 2). The CPU 31 sends a command via a data bus based on the operation program stored in the main memory 32, and controls the operation of the entire data processing mechanism of the monitor vehicle 2. Main operations of the monitor vehicle 2 under the control of the CPU 31 will be described later with reference to FIGS.
[0031]
The main memory 32 stores a computer program that implements the processing of the flowcharts (photographing processing of the monitor vehicle) described in FIGS. 11 to 13. Further, the main memory 32 temporarily stores the photographing instruction signal or the photographing position information received from the server 5 (FIG. 1) and records the photographing position information on the hard disk 36. The input unit 33 is, for example, an input device such as an operation button in a car navigation system, or a touch panel integrated with the display unit 24. The display unit 24 is a known display that displays a map or the like of the car navigation system.
[0032]
The communication unit 35 is an interface through which the monitor vehicle 2 transmits and receives data to and from the outside such as the server 5 (FIG. 1). The communication unit 25 includes an interface for wireless communication, and performs communication using a predetermined communication protocol. The data received by the monitor vehicle 2 is a photographing instruction signal from the server 5 (FIG. 1) or photographing position information as described above. On the other hand, data transmitted by the monitor vehicle 2 to the server 5 (FIG. 1) includes photographed image data, position information of the monitor vehicle 2, and the like. The hard disk 36 is a large-capacity secondary storage device, and stores photographing position information 36-1 from the server 5 and photographed image data 36-2. The GPS radar 38 is a known radar that receives a radio wave from the GPS satellite 4 (FIG. 1). Based on the radio waves from three or more GPS satellites 4 received by the GPS radar 38, the monitor vehicle 2 can know information on the current position (latitude, longitude, and if necessary, altitude above sea level).
[0033]
The omnidirectional camera 6 is a camera capable of photographing 360 degrees around here in the present specification. Therefore, for example, it is mounted on the highest position of the monitor vehicle 2, for example, on the roof of an automobile. Hereinafter, a specific configuration of the omnidirectional camera 6 will be described with reference to FIGS. FIG. 4 is a schematic diagram of a case where the omnidirectional camera 6 is used to photograph the surrounding scenery 40. The omnidirectional camera 6 has a curved mirror (hatched portion), and converges an omnidirectional landscape 40 with this mirror. Then, an annular scene 40 reflected on the curved mirror is photographed by using an imaging section (CCD camera) arranged at a focal position below the curved mirror. FIG. 5 shows image data 50 obtained by photographing the scenery 40 (FIG. 4).
[0034]
Next, image processing is performed on such annular image data 50 to generate a developed panoramic image. FIG. 6 is a diagram illustrating an example in which an annular image is converted into a panoramic image. The conversion of the panoramic image 60 and / or the panoramic image 60 or a part thereof into an image is performed by, for example, the CPU 31 (FIG. 3) performing image processing on an inner peripheral portion of the captured annular image 50 and relatively expanding the image. Alternatively, it is performed by executing a computer program that performs image processing on the outer peripheral portion and relatively compresses the image. Many processes related to image scale conversion are known, and the present invention does not particularly limit which process is used. Therefore, the description of these specific processes is omitted.
[0035]
An omnidirectional camera has been frequently used in recent years as an apparatus for photographing the surrounding 360 ° as described above. This will be described below with reference to examples. FIG. 7 is a diagram illustrating an omnidirectional camera according to the first example. This omnidirectional camera is the same as the omnidirectional visual sensor shown in FIG. 2 of JP-A-11-331654. FIG. 8 is a diagram showing an omnidirectional camera according to the second example. This omnidirectional camera is realized in a reflection type angle-of-view conversion optical device shown in FIG. 3 of JP-A-10-54939. The optical system of the omnidirectional camera shown in FIGS. 7 and 8 is characterized by employing a so-called catadioptric optical system, unlike a conventional refractive optical system using only a lens. In particular, as an omnidirectional camera using a rotating mirror, a camera using a rotationally symmetric spherical mirror and a rotationally symmetric quadratic curved surface (parabolic surface, elliptical surface, hyperboloid) mirror is known. Hereinafter, an omnidirectional camera using a hyperboloid mirror will be described as an example.
[0036]
FIG. 9 is a diagram illustrating the principle of an optical system of an omnidirectional camera using one convex hyperboloid mirror 91. The omnidirectional camera includes a convex hyperboloid mirror 91 having a focal point 92 installed vertically downward, and a CCD camera 95 installed vertically below the mirror. Utilizing the property of the hyperboloid having two focal points, the lens center position of the CCD camera 95 is set to the focal point 94 of the hyperboloid 93 conjugate with the convex hyperboloid mirror 91, so that the focal point 92 is geometrically optically shifted to the focal point 92. An optical system in which the directed light passes through the focal point 94 can be realized. The coordinate system formed at this time is a perspective transformation coordinate system.
[0037]
According to the above-described omnidirectional camera, an image covering an extremely wide range of 360 ° around can be taken at a time, so that a mechanical driving part is not required. Therefore, the number of parts is reduced, the production cost is suppressed, and maintenance is easy. In addition, the surrounding images and conditions can be completely grasped from the obtained images. In a commonly used surveillance camera system, a predetermined range is photographed by mechanically swinging the camera. That is, in the conventional camera system, it is necessary to provide a mechanical driving part in the camera. This requires a large number of parts, is structurally complicated, and increases manufacturing costs. Further, maintenance of the driving part is required, which is complicated.
[0038]
In addition to the omnidirectional camera, a wide-angle camera that can capture an image in a specific direction can be used. For example, a camera equipped with a fisheye lens. Similarly, when photographing with a fisheye lens, the image can be converted into a panoramic image or an image of a part thereof. Further, a wide-angle camera of a refractive optical system may be used. FIG. 10 is a diagram illustrating a lens configuration of a refracting optical system wide-angle camera. This lens configuration is the same as the wide-angle camera described in FIG. 1 of Japanese Patent Publication No. 2992547. Wide-angle cameras are often used for surveillance, on-vehicle use, and the like. The number of lenses is smaller than that of conventional fisheye lenses, and it is compact and bright. Accordingly, it is possible to relatively easily perform photographing over a wide area at once.
[0039]
The components of the server 5 (FIG. 2) and the monitor vehicle 2 (FIG. 3) have been described above. Next, an embodiment of the present invention will be described with reference to FIGS.
[0040]
(Embodiment 1)
In the first embodiment, when the server 5 (FIG. 1) grasps the position of each monitor vehicle 2 (FIG. 1), and the monitor vehicle 2 exists near the position designated by the photographing position information from the user, Instructs the monitor vehicle 2 to photograph the periphery. Then, the monitor vehicle 2 receiving the instruction automatically takes an image of the periphery of the current position. Hereinafter, the contents will be described more specifically.
[0041]
FIG. 11 is a flowchart illustrating a flow of a process according to the first embodiment. The processing flow on the left side of the figure is processing in which the server 5 (FIG. 1) distributes image data to the user. On the other hand, the processing flow on the right side is processing in which the monitor vehicle 2 (FIG. 1) performs photographing.
[0042]
First, the server 5 (FIG. 1) receives photographing position information from the user via the user device 3 (step S111). Then, the server 5 searches the hard disk 26 and the large-capacity storage device 27 for image data near the position specified by the shooting position information (step S112). As described above, information on the position where the image was captured is stored in association with the stored image data. If image data (hereinafter, referred to as “request image data”) corresponding to the photographing position information exists (YES in step S113), the request image data is transmitted to the user (step S119). This search process need not be particularly provided when the number of monitor vehicles 2 increases and the latest image data can be provided within an allowable time. In this case, the server 5 does not need to store the image data in the hard disk 26 and the large-capacity storage device 27, and the cost required for the image management cost can be greatly reduced.
[0043]
As a result of the search, if the requested image data does not exist (NO in step S113), it is determined whether the monitor vehicle 2 exists near the position specified by the shooting position information (step S114). . This determination is made based on the current position information of the monitor vehicle 2 sequentially received from each monitor vehicle 2. If the result of the determination is that there is no monitor, the monitoring is continued until the monitor vehicle 2 comes near the specified position. On the other hand, when the monitor vehicle 2 is present near the designated position, the CPU 21 transmits a photographing instruction signal to the monitor vehicle 2 (step S115) to cause the monitor vehicle 2 to perform photographing. , And waits for reception of the requested image data which is the result of the photographing.
[0044]
When receiving the photographing instruction signal from the server 5, the monitor vehicle 2 automatically photographs the current position and its surroundings with the omnidirectional camera 6 based on the signal, and acquires image data (step S116). The monitor vehicle 2 transmits the acquired image data to the server 5 (Step S117). This image data corresponds to the above-described request image data. Since the monitor vehicle 2 only needs to take a picture with the camera in response to the reception of the photographing instruction signal from the server 5, the processing becomes very simple as shown in the figure. Therefore, the resources can be effectively used without putting a burden on the processing capacity of the car navigation system or the like. Note that, in response to the reception of the photographing instruction signal, the photographing instruction may be displayed on the display unit 34 (FIG. 3) of the monitor vehicle 2, and the driver of the monitor vehicle 2 may perform manual photographing. When the photographing is performed via the driver of the monitor vehicle 2, the service may be returned to the driver through a service such as renting a car navigation system free of charge.
[0045]
When receiving the requested image data from the monitoring vehicle 2 (step S118), the server 5 transmits the requested image data to the user (step S119). The image data distribution process is performed as described above. According to the present embodiment, the service provider does not need to pay for photographing, and the user can easily obtain a current image at a position where he cannot go. Therefore, a distribution service of image data of very high use value can be provided.
[0046]
(Embodiment 2)
In the second embodiment, each monitor vehicle 2 (FIG. 1) receives and holds the photographing position information from the server (FIG. 1), and photographs the vicinity of the current position when the vehicle comes near the position. . Hereinafter, the contents will be described more specifically.
[0047]
FIG. 12 is a flowchart illustrating a flow of a process according to the second embodiment. The processing flow on the left side of the figure is processing in which the server 5 (FIG. 1) distributes image data to the user. On the other hand, the processing flow on the right side is processing in which the monitor vehicle 2 (FIG. 1) performs photographing. Steps S111 to S113 in the processing of the server 5 are the same as those described in FIG. 11 of the first embodiment, and a description thereof will not be repeated. The image data corresponding to the photographing position information is hereinafter also referred to as “requested image data”.
[0048]
If the requested image data does not exist in the hard disk 26 or the like (NO in step S113), the server 5 transmits the shooting position information to the monitor vehicle 2 (step S121). Then, it waits for reception of the requested image data as a result of the photographing.
[0049]
The monitoring vehicle 2 receives the photographing position information from the server 5 and records it on the hard disk 36 (FIG. 3) or the like. FIG. 3 shows the photographing position information 36-1 recorded on the hard disk 36. When there are a plurality of users, a plurality of shooting position information may be recorded. The CPU 31 (FIG. 3) of the monitor vehicle 2 determines whether the current position is near the position specified by the photographing position information with reference to the recorded photographing position information 36-1 (Step S123). If the result of determination is that it is not near, the monitoring is continued until the monitor vehicle 2 comes near the specified position. On the other hand, when the monitor vehicle 2 is present in the vicinity of the designated position, the omnidirectional camera 6 automatically photographs the current position and its surroundings, and acquires image data (step S124). Monitor vehicle 2 transmits the acquired image data to server 5 (step S125). This image data corresponds to the above-described request image data.
[0050]
When receiving the requested image data from the monitor vehicle 2 (step S126), the server 5 transmits the requested image data to the user (step S127).
[0051]
As described above, the monitor vehicle 2 determines by itself whether or not to shoot based on the shooting position information. The server 5 does not need to know the positions of all the monitoring vehicles 2, and the processing is distributed among the monitoring vehicles 2, so that the overall load is reduced and the image distribution system 10 can be operated efficiently. As described in the first embodiment, the service provider does not need to pay for photographing, and the user can easily obtain a current image at a position where he cannot go. Therefore, a distribution service of image data of very high use value can be provided.
[0052]
(Embodiment 3)
In the third embodiment, each monitor vehicle 2 (FIG. 1) shoots at random, and stores image data and information on the shooting position of the image data. Then, when the shooting position of the image data is near the position specified by the shooting position information received from the server 5, the corresponding image data is transmitted to the server 5. Hereinafter, the contents will be described more specifically.
[0053]
FIG. 13 is a flowchart showing a flow of processing according to the third embodiment. The processing flow on the left side of the figure is processing in which the server 5 (FIG. 1) distributes image data to the user. On the other hand, the processing flow on the right side is processing in which the monitor vehicle 2 (FIG. 1) performs photographing. Steps S111 to S113 in the processing of the server 5 are the same as those described in FIG. 11 of the first embodiment, and a description thereof will not be repeated. The image data corresponding to the photographing position information is hereinafter also referred to as “requested image data”.
[0054]
When the requested image data does not exist in the hard disk 26 or the like (NO in step S113), the server 5 transmits the shooting position information to the monitor vehicle 2 (step S132). Then, it waits for reception of the requested image data as a result of the photographing.
[0055]
The monitor vehicle 2 previously randomly shoots the periphery with the omnidirectional camera 6 (FIG. 3), and associates the image data with information on the position where the image data was acquired (hereinafter referred to as “acquired position information”). And accumulate them (step S131). “Randomly” means, for example, at an appropriate time interval according to the traveling of the monitor vehicle 2. The acquired position information can be obtained by radio waves received by the GPS radar 38. Also, "corresponding" means that image data taken at that position is associated with the acquired position information so that the image data can be specified.
[0056]
When the monitoring vehicle 2 receives the photographing position information from the server 5, the monitoring vehicle 2 sequentially records the acquired photographing position information on the hard disk 36 (FIG. 3) and compares the acquired photographing position information with the received photographing position information (step S133). As a result, if the position where the image data is obtained is near the position specified by the shooting position information, it is determined that the image data has already been obtained, and the corresponding image data is transmitted to the server (step S134).
[0057]
When receiving the requested image data from the monitor vehicle 2 (step S135), the server 5 transmits the requested image data to the user (step S136).
[0058]
According to the present embodiment, since the monitor vehicle 2 randomly shoots in advance and accumulates image data, it is highly likely that an image of a desired position can be obtained earlier. There is a time difference between the shooting time and the time provided to the user, and this time difference can be set as almost the latest information by appropriately setting an allowable value such as within a few days, within a few hours, etc. Can be provided. As described in the first embodiment, the service provider does not need to pay for photographing, and the user can easily obtain a current image at a position where he cannot go. Therefore, a distribution service of image data of very high use value can be provided.
[0059]
The image distribution system to which the present invention is applied and the first to third embodiments of the present invention have been described. In the above description, the position desired to be photographed specified by the photographing position information, the current position of the monitor vehicle 2, and the position specified by the acquired position information (Embodiment 3) are not necessarily strict. You may. This is because there is an error in specifying the position using the GPS. Therefore, when a certain position is within a predetermined range (for example, within a range of several meters to several tens of meters) from another position, it may be determined that the position indicates the same position. If an error of several meters to several tens of meters is allowed in this way, the user can specify not only the latitude and longitude, but also a name such as a landmark or an intersection name.
[0060]
Furthermore, the position can be specified not only by GPS but also by radio waves emitted from base stations of mobile phones and PHS. Further, a photographing direction detected using a geomagnetic sensor capable of specifying a vehicle speed, a traveling distance, and a direction of an automobile, a height detected using a gyro sensor, and the like, which have been conventionally used, can also be used. From the viewpoint of accuracy, it is preferable to use these in combination rather than alone. In the case where a geomagnetic sensor is used, azimuth information indicating a shooting direction detected using the geomagnetic sensor may be added to the captured image data. Thereby, for example, an omnidirectional panoramic image can be displayed by changing the display position according to the azimuth. When the user specifies a landmark, image data obtained by photographing the direction of the landmark from the position of the vehicle can be cut out and used.
[0061]
In the above description, the omnidirectional camera 6 (FIG. 3) is mainly used, but a wide-angle camera that cannot capture images in all directions may be used. In this case, information on the azimuth photographed using the above-described geomagnetic sensor (imaging azimuth information) may also be held, and it may be determined whether or not not only the position but also the azimuth substantially match.
[0062]
When the service is actually provided by the image distribution system 10 (FIG. 1) to which the present invention can be applied, the hard disk 26 (FIG. 2) of the server 5 (FIG. 1) stores the billing information for the user. Then, in response to a request from the user (for example, the number of times the user has requested image data, the degree of difficulty in accessing the desired position), the charging information may be updated and the user may be charged.
[0063]
【The invention's effect】
According to the present invention, since the photographing is automatically performed by the monitor vehicle, the labor cost required for the photographing is not required. Further, a current image at a position desired by the user can be easily obtained substantially in real time.
[Brief description of the drawings]
FIG. 1 is a schematic diagram illustrating an outline of an image distribution system 10. FIG.
FIG. 2 is a block diagram showing a configuration of a server of a server station.
FIG. 3 is a block diagram showing a configuration of a monitor vehicle.
FIG. 4 is a schematic diagram in a case where an omnidirectional camera is used to photograph the surrounding scenery.
FIG. 5 is a diagram showing image data obtained by photographing a landscape.
FIG. 6 is a diagram showing an example in which an annular image is converted into a panoramic image.
FIG. 7 is a diagram illustrating an omnidirectional camera according to a first example.
FIG. 8 is a diagram showing an omnidirectional camera according to a second example.
FIG. 9 is a diagram showing the principle of an optical system of an omnidirectional camera using one convex hyperboloid mirror.
FIG. 10 is a diagram illustrating a lens configuration of a refracting optical system wide-angle camera.
FIG. 11 is a flowchart showing a flow of processing according to the first embodiment.
FIG. 12 is a flowchart showing a processing flow according to the second embodiment.
FIG. 13 is a flowchart showing a flow of processing according to the third embodiment.
[Explanation of symbols]
1 server station
2 Monitor vehicle
3 User equipment
4 GPS satellites
5 server
6 Omnidirectional camera

Claims

An image distribution system in which a server distributes the image data to the user in response to a transmission request of the image data from the user,
The server comprises:
First position information indicating a desired position is received from a user, and the second position information is received from a vehicle equipped with a camera and a radar for obtaining second position information indicating the own position. A server communication unit,
A control unit configured to generate a photographing instruction signal for instructing photographing of a position of a vehicle by the camera based on the received first position information and the second position information, and wherein the server communication unit includes: An image distribution system that receives image data photographed by the camera based on the photographing instruction signal and distributes the image data to a user.

When the position of the vehicle indicated by the second position information falls within a predetermined range from the desired position indicated by the first position information, the control unit determines that the vehicle is the same position, The image distribution system according to claim 1, wherein the image distribution system generates a photographing instruction signal.

An image distribution system in which a server distributes the image data to the user in response to a transmission request of the image data from the user,
The server includes a server communication unit that receives first position information indicating a desired position from a user and transmits the first position information to the vehicle.
The vehicle is
Camera and
A radar for obtaining second position information indicating its own position,
A vehicle communication unit that receives the first position information from the server;
The first position information received, and, based on the second position information acquired by using a radar, a camera that captures its current position by the camera, a processing unit that acquires image data, The vehicle communication unit transmits the obtained image data to the server,
An image distribution system, wherein a server communication unit of the server receives the image data from the vehicle and distributes the image data to a user.

The processing unit, when the position of the vehicle indicated by the second position information is within a predetermined range from the desired position indicated by the first position information, determines that the vehicle is the same position, The image distribution system according to claim 3, wherein a current position of the vehicle is photographed by a camera.

An image distribution system in which a server distributes the image data to the user in response to a transmission request of the image data from the user,
The server includes a server communication unit that receives first position information indicating a desired position from a user and transmits the first position information to the vehicle.
The vehicle is
Camera and
A radar for acquiring position information indicating its own position,
Image data randomly shot by the camera, and, specified using a radar, a vehicle storage unit that stores the second position information indicating the position of the vehicle at the time of acquiring the image data in association with each other,
A vehicle communication unit that receives the first position information from the server;
A processing unit that reads the image data corresponding to the second position information from a vehicle storage unit based on the received first position information and the second position information, Transmitting the read image data to the server,
An image distribution system, wherein a server communication unit of the server receives the image data from the vehicle and distributes the image data to a user.

The processing unit, when the position of the vehicle indicated by the second position information is within a predetermined range from the desired position indicated by the first position information, determines that the vehicle is the same position, The image distribution system according to claim 5, wherein the image data corresponding to the second position information is read from a vehicle storage unit.

The server further includes a server storage unit that stores the image data received from the monitor vehicle in association with third position information indicating a position where the image data is acquired,
The server, when receiving the first position information from a user, based on the first position information and the third position information, based on the image data corresponding to the third position information Read from the server storage unit,
The image distribution system according to claim 1, wherein the server communication unit of the server distributes the read image data to a user.

The image distribution system according to claim 1, wherein the radar is a GPS radar that specifies a position using radio waves from a plurality of GPS satellites.

The image distribution system according to any one of claims 1 to 8, wherein the camera of the vehicle is an omnidirectional camera that can capture an omnidirectional image at a time.

The image distribution system according to claim 1, wherein the camera of the vehicle is a camera that can capture an image in a specific direction.

The image distribution system according to claim 10, wherein the vehicle further includes a geomagnetic sensor capable of specifying a direction, and adds direction information detected by the geomagnetic sensor to captured image data.

The image distribution system according to claim 7, wherein the server storage unit further stores charging information for the user, and the server updates the charging information in response to the transmission request from the user and charges the user.