JP2000020884A - Processor for mobile object, inter-mobile object communication system, communication method and storage medium - Google Patents

Processor for mobile object, inter-mobile object communication system, communication method and storage medium

Info

Publication number
JP2000020884A
JP2000020884A JP18241498A JP18241498A JP2000020884A JP 2000020884 A JP2000020884 A JP 2000020884A JP 18241498 A JP18241498 A JP 18241498A JP 18241498 A JP18241498 A JP 18241498A JP 2000020884 A JP2000020884 A JP 2000020884A
Authority
JP
Japan
Prior art keywords
image
information
mobile
unit
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP18241498A
Other languages
Japanese (ja)
Other versions
JP3969852B2 (en
JP2000020884A5 (en
Inventor
Masamichi Ito
賢道 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP18241498A priority Critical patent/JP3969852B2/en
Publication of JP2000020884A publication Critical patent/JP2000020884A/en
Publication of JP2000020884A5 publication Critical patent/JP2000020884A5/en
Application granted granted Critical
Publication of JP3969852B2 publication Critical patent/JP3969852B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Instructional Devices (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To enable transmission and reception of desired image information. SOLUTION: A request for an image indicating the scenery of a desired spot (position information) is outputted from a following automobile 2 to a preceding automobile 1. The automobile 1 retrieves an image indicating the scenery of the desired spot from images picked-up and stored by an on-vehicle camera based on the position information, and transmits the image to the automobile 2. The automobile 2 displays the received image, and uses it for traveling guide or the like.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、自動車等に搭載さ
れるカメラ、およびカーナビゲーション装置等の位置検
出装置を利用した通信システムに関し、カメラからの画
像データの無線による送受信に関するものである。
[0001] 1. Field of the Invention [0002] The present invention relates to a camera mounted on an automobile or the like and a communication system using a position detecting device such as a car navigation device, and more particularly to wireless transmission and reception of image data from the camera.

【0002】[0002]

【従来の技術】近年自動車内にも多くの電子機器が搭載
されるようになってきている。その中でも、GPS(Gl
obal Positioning System )衛星からの信号により自車
の位置を測定し、走行案内を液晶ディスプレイなどに表
示するカーナビゲーション装置の普及はめざましい。
2. Description of the Related Art In recent years, many electronic devices have been mounted in automobiles. Among them, GPS (Gl
obal Positioning System) The use of car navigation systems that measure the position of the vehicle based on signals from satellites and display driving guidance on a liquid crystal display is remarkable.

【0003】図14は、従来のカーナビゲーション装置
の一例を示したブロック図である。
FIG. 14 is a block diagram showing an example of a conventional car navigation device.

【0004】201はシステムコントローラ、202は
プログラムを格納しているROM、203は動作モード
の記憶や、地図データなどの蓄積の際に利用されるRA
M、204はジャイロなどから構成され車両速度や転回
した角度などを検出し、その情報をシステムコントロー
ラ201に出力する自律計測部、205はGPSアンテ
ナ、206はGPSユニット、207はリモコンや本体
入力部からなるKey入力部、208は地図情報を提供
するCD−ROMを再生するCD−ROM装置、209
はCD−ROMコントローラ、210は表示画面の描画
処理部、211は表示画面を蓄積するVRAM、212
は液晶等で構成される表示装置、213は内部バス、2
14は車両速度や転回した情報等の走行データの入力で
ある。
[0004] 201 is a system controller, 202 is a ROM storing programs, and 203 is an RA used for storing operation modes and storing map data and the like.
M and 204 are composed of gyros and the like, detect the vehicle speed and the angle of turning, etc., and output the information to the system controller 201; 205 is a GPS antenna; 206 is a GPS unit; 206 is a GPS unit; 209, a CD-ROM device for reproducing a CD-ROM for providing map information, 209
, A CD-ROM controller; 210, a display screen drawing processing unit; 211, a VRAM for accumulating the display screen;
Is a display device composed of liquid crystal or the like, 213 is an internal bus, 2
Numeral 14 denotes an input of traveling data such as a vehicle speed and information of turning.

【0005】このような構成下で、GPS情報や自律走
行データから、システムコントローラ201が常に自車
位置を測位計算し、走行案内表示を出力する。
[0005] Under such a configuration, the system controller 201 constantly calculates the position of the own vehicle from GPS information and autonomous driving data, and outputs a driving guide display.

【0006】車両誘導装置としての自車位置、地図情報
の表示、またTV画像や音楽再生など、より多くの機能
の充実で、より快適な車内空間を提供し、カーナビゲー
ション装置は有効な装置である。
[0006] The car navigation device is an effective device that provides more comfortable interior space with more functions such as display of own vehicle position and map information as a vehicle guidance device, TV image and music reproduction, and the like. is there.

【0007】[0007]

【発明が解決しようとする課題】しかしながら、従来の
カーナビゲーション装置は走行案内機能としては充実し
てきたものの、走行時の映像を搭載した車載カメラで撮
像する、自動車間で各種データを任意に送受信できる環
境などといった、次世代の自動車内装置,機能との融合
といった面での実用化はなされていない。
However, although the conventional car navigation system has been enhanced as a travel guide function, various data can be arbitrarily transmitted and received between automobiles by taking an image with a vehicle-mounted camera equipped with a video during traveling. No practical application has been made in terms of integration with next-generation in-car devices and functions such as the environment.

【0008】複数台の自動車間で走行中に各種データ、
特に車載カメラで撮像した画像データなどを伝送する手
段を考えた場合、その表示装置としてカーナビゲーショ
ン装置のモニタは有効な装置となりうるが、各メーカ間
で画像や信号処理の点などで相違点があり、画像データ
を表示できるとは限らない。そのため、種類の異なるカ
ーナビゲーション装置間でも問題なく画像データを通信
手段を用いて送受信でき、表示可能となる環境が望まれ
る。
[0008] Various data while traveling between a plurality of vehicles,
Especially when considering means for transmitting image data captured by an in-vehicle camera, the monitor of a car navigation device can be an effective device as a display device, but there are differences between manufacturers in terms of image and signal processing. Yes, it is not always possible to display image data. Therefore, an environment in which image data can be transmitted and received using the communication means without any problem between different types of car navigation devices and can be displayed is desired.

【0009】本発明は、このような状況のもとでなされ
たもので、移動体を有するシステムにおいて所望の画像
情報を送,受できる、移動体用処理装置,移動体間通信
システム,通信方法,記憶媒体を提供することを目的と
するものである。
SUMMARY OF THE INVENTION The present invention has been made under such circumstances, and a processing apparatus for a mobile unit, a communication system between mobile units, and a communication method capable of transmitting and receiving desired image information in a system having a mobile unit. , And a storage medium.

【0010】[0010]

【課題を解決するための手段】前記目的を達成するた
め、本発明では、移動体用処理装置を次の(1)〜
(5),(7),(9)のとおりに、移動体間通信シス
テムを次の(6),(8),(10)のとおりに、通信
方法を次の(11)のとおりに、そして、記憶媒体を次
の(12)のとおりに構成する。
In order to achieve the above object, according to the present invention, a moving object processing apparatus is provided as follows.
As described in (5), (7) and (9), the inter-mobile communication system is defined as in (6), (8) and (10) below, and the communication method is defined as in (11) below. Then, the storage medium is configured as in the following (12).

【0011】(1)当該移動体の外部の風景を撮像する
撮像手段と、当該移動体の位置を検出する位置検出手段
と、前記撮像手段で撮像した画像の情報に、前記位置検
出手段で検出した位置の情報を付加するなどの処理を行
う処理手段と、この処理手段の出力を無線送信する送信
手段とを備えた移動体用処理装置。
(1) Image pickup means for picking up an image of a scene outside the moving object, position detecting means for detecting the position of the moving object, and information of an image picked up by the image pickup means, which is detected by the position detecting means. A processing device for a mobile body, comprising: a processing unit for performing processing such as adding information on a specified position; and a transmission unit for wirelessly transmitting an output of the processing unit.

【0012】(2)前記(1)記載の移動体用処理装置
において、前記処理手段は、受信側の機器の処理方式に
整合させる処理をも行うものである移動体用処理装置。
(2) The processing apparatus for a mobile object according to the above (1), wherein the processing means also performs processing for matching with the processing method of the device on the receiving side.

【0013】(3)前記(1)記載の移動体用処理装置
において、前記処理手段で処理した位置情報付画像情報
を記憶する記憶手段と、この記憶手段から、受信側から
リクエストされた位置情報にかかる画像情報をその位置
情報をキーとして検索する検索手段とを備え、前記検索
手段で検索した画像情報を前記送信手段で送信する移動
体用処理装置。
(3) In the processing apparatus for a moving body according to (1), storage means for storing the image information with position information processed by the processing means, and position information requested from the receiving side by the storage means. A search unit for searching for the image information according to the position information as a key, wherein the transmission unit transmits the image information searched for by the search unit.

【0014】(4)当該移動体の位置を検出する位置検
出手段と、この位置検出手段で検出した位置の情報にか
かる画像情報のリクエストを生成するリクエスト生成手
段と、このリクエスト生成手段で生成したリクエストを
無線送信する送信手段と、送信側からの画像情報を無線
受信する受信手段と、この受信手段で受信した画像情報
の画像を表示する表示手段とを備えた移動体用処理装
置。
(4) Position detecting means for detecting the position of the moving body, request generating means for generating a request for image information related to the information on the position detected by the position detecting means, and request generating means for generating the request. A mobile processing apparatus comprising: a transmission unit that wirelessly transmits a request; a reception unit that wirelessly receives image information from a transmission side; and a display unit that displays an image of the image information received by the reception unit.

【0015】(5)前記(1)〜(3)のいずれかに記
載の移動体用処理装置と請求項4記載の移動体用処理装
置とを備えた移動体用処理装置。
(5) A processing apparatus for a mobile object comprising the processing apparatus for a mobile object according to any one of (1) to (3) and the processing apparatus for a mobile object according to claim 4.

【0016】(6)前記(5)記載の移動体用処理装置
を搭載した複数の移動体を備え、移動体間で画像情報を
送受する移動体間通信システム。
(6) An inter-mobile communication system that includes a plurality of mobile bodies equipped with the mobile processing apparatus according to (5) and transmits and receives image information between the mobile bodies.

【0017】(7)前記(1)〜(5)のいずれかに記
載の移動体用処理装置において、移動体は自動車である
移動体用処理装置。
(7) In the processing device for a moving object according to any one of (1) to (5), the moving object is an automobile.

【0018】(8)前記(6)記載の移動体間通信シス
テムにおいて、移動体は自動車である移動体間通信シス
テム。
(8) The inter-mobile communication system according to (6), wherein the mobile is an automobile.

【0019】(9)前記(1)〜(5)のいずれかに記
載の移動体用処理装置において、位置検出手段はGPS
を有する移動体用処理装置。
(9) In the processing apparatus for a moving body according to any one of the above (1) to (5), the position detecting means may be a GPS.
A processing device for a moving object, comprising:

【0020】(10)前記(6)記載の移動体間通信シ
ステムにおいて、位置検出手段はGPSを有する移動体
間通信システム。
(10) The inter-mobile communication system according to (6), wherein the position detecting means has a GPS.

【0021】(11)次の(1)〜(11)のステップ
を備えた通信方法。
(11) A communication method including the following steps (1) to (11).

【0022】(1)一方の移動体でその外部の風景を撮
像するステップ。
(1) A step of taking an image of a scene outside the moving object using one of the moving objects.

【0023】(2)前記一方の移動体でその位置を検出
するステップ。
(2) detecting the position of the one moving body;

【0024】(3)前記(1)のステップで撮像した画
像の情報に、前記(2)のステップで検出した位置の情
報を付加するステップ。
(3) A step of adding information on the position detected in the step (2) to information on the image captured in the step (1).

【0025】(4)他方の移動体でその位置を検出する
ステップ。
(4) A step of detecting the position of the other moving object.

【0026】(5)前記他方の移動体で前記(4)で検
出した位置情報にかかる画像情報のリクエストを生成す
るステップ。
(5) A step of generating a request for image information relating to the position information detected in (4) by the other moving body.

【0027】(6)前記(5)で生成したリクエストを
前記一方の移動体へ送信するステップ。
(6) transmitting the request generated in (5) to the one mobile unit;

【0028】(7)前記(6)で送信したリクエストを
前記一方の移動体で受信するステップ。
(7) A step of receiving the request transmitted in (6) by the one mobile unit.

【0029】(8)前記(7)で受信したリクエストに
かかる画像情報を、前記(3)のステップで加工した画
像情報から検索するステップ。
(8) A step of retrieving image information relating to the request received in (7) from the image information processed in the step (3).

【0030】(9)前記(8)で検索した画像情報を前
記他方の移動体へ送信するステップ。
(9) transmitting the image information retrieved in (8) to the other mobile unit;

【0031】(10)前記(9)で送信した画像情報を
前記他方の移動体で受信するステップ。
(10) a step of receiving the image information transmitted in (9) by the other mobile unit.

【0032】(11)前記(10)で受信した画像情報
の画像を表示するステップ。
(11) A step of displaying an image of the image information received in (10).

【0033】(12)前記(11)記載の通信方法を実
現するためのプログラムを格納した記憶媒体。
(12) A storage medium storing a program for realizing the communication method according to (11).

【0034】[0034]

【発明の実施の形態】以下本発明を自動車間通信システ
ムの実施例により詳しく説明する。なお、本発明は、自
動車間に限らず、列車間,船舶間,航空機間等の適宜の
同種の移動体間、また、自動車−列車間等の適宜の異種
の移動体間の通信システムの形で同様に実施することが
できる。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described below in detail with reference to an embodiment of an inter-vehicle communication system. Note that the present invention is not limited to vehicles, and may be applied to the form of a communication system between appropriate kinds of moving bodies such as between trains, ships, and aircraft, and between different kinds of moving bodies such as between cars and trains. In the same manner.

【0035】更に、固定局,通信衛星等を基地局(予め
所定地点の映像を記憶している)或は中継局として移動
体との通信を行うといった形で同様に実施することがで
きる。
Further, the present invention can be similarly implemented in such a manner that a fixed station, a communication satellite, or the like is used as a base station (an image of a predetermined point is stored in advance) or a relay station to communicate with a mobile unit.

【0036】また、通信システムといった物の形に限ら
ず、通信方法の形で、更にこの通信方法を実現するため
のプログラムを格納した、CD−ROM等の記憶媒体の
形で同様に実施することができる。
The present invention is not limited to the form of an object such as a communication system, but may be similarly implemented in the form of a communication method and further in the form of a storage medium such as a CD-ROM in which a program for realizing the communication method is stored. Can be.

【0037】[0037]

【実施例】図1は、実施例である“自動車間通信システ
ム”の概念図である。GPS衛星103からの電波を利
用したGPSナビゲーション装置をそれぞれ搭載した、
自動車101,自動車102間で、画像データを無
線通信により送受信する様子を表している。なお、本実
施例でいう画像データとは静止画像および動画像の両方
を意味している。また、図1において、自動車10
1,自動車102間の無線通信は走行中に限らず実行
できる。
FIG. 1 is a conceptual diagram of an "inter-vehicle communication system" as an embodiment. Each equipped with a GPS navigation device using radio waves from the GPS satellite 103,
The figure shows a state in which image data is transmitted and received between a car 101 and a car 102 by wireless communication. It should be noted that the image data in this embodiment means both a still image and a moving image. Also, in FIG.
1. Wireless communication between the automobiles 102 can be executed not only during traveling.

【0038】図1の無線通信ではアンテナ104、およ
びアンテナ105から電波を送信、受信する。ここでの
無線通信の方式は携帯電話を用いた通信や、スペクトラ
ム拡散通信方式等が考えられる。携帯電話の通信方式は
公知であるので補足説明を省略するが、スペクトラム拡
散通信方式については構成,通信動作の概要をここで簡
単に説明する。
In the wireless communication shown in FIG. 1, radio waves are transmitted and received from the antennas 104 and 105. Here, the wireless communication system may be a communication using a mobile phone, a spread spectrum communication system, or the like. Since the communication system of the mobile phone is publicly known, a supplementary explanation is omitted, but the configuration and communication operation of the spread spectrum communication system will be briefly described here.

【0039】図2にスペクトラム拡散通信装置の送信部
の構成ブロック図、図3に受信部の構成ブロック図を示
す。
FIG. 2 is a block diagram showing the configuration of the transmission section of the spread spectrum communication apparatus, and FIG. 3 is a block diagram showing the configuration of the reception section.

【0040】まず図2において、501は直並列変換
器、502−1〜nは乗算器、503は拡散符号発生
器、504は加算器、505は送信周波数信号に変換す
るための無線周波数(RF)変換器、506は送信アン
テナである。
First, in FIG. 2, reference numeral 501 denotes a serial-to-parallel converter, reference numerals 502-1 to n denote multipliers, reference numeral 503 denotes a spread code generator, reference numeral 504 denotes an adder, and reference numeral 505 denotes a radio frequency (RF) for converting to a transmission frequency signal. ) The converter 506 is a transmitting antenna.

【0041】以下に前述のように構成されたスペクトラ
ム拡散通信装置の送信部での動作について説明する。
The operation of the transmission section of the spread spectrum communication apparatus configured as described above will be described below.

【0042】入力されたデータは直並列変換器501に
てn個の並列データに変換される。変換された各データ
はn個の乗算器502−1〜nにおいて拡散符号発生器
503のn個のそれぞれ異なる拡散符号出力と乗算され
nチャネルの広帯域拡散信号に変換される。次に、各乗
算器の出力は加算器504にて加算され、RF変換器5
05に出力される。RF変換器505で、加算されベー
スバンド広帯域拡散信号は適当な中心周波数を持つ送信
周波数信号に変換され、送信アンテナ506より送信さ
れる。
The input data is converted by the serial / parallel converter 501 into n parallel data. The converted data are multiplied by n different spreading code outputs of the spreading code generator 503 in n multipliers 502-1 to n, and are converted into n-channel wideband spread signals. Next, the outputs of the multipliers are added in an adder 504, and the RF converter 5
05 is output. In the RF converter 505, the added baseband broadband spread signal is converted into a transmission frequency signal having an appropriate center frequency, and transmitted from the transmission antenna 506.

【0043】次に図3において、511は受信アンテ
ナ、512は無線周波数(RF)変換器、513−1〜
nは相関器、514−1〜nは拡散符号発生器、515
−1〜nは同期回路、516−1〜nは復調器、517
は並直列変換器である。
Next, in FIG. 3, 511 is a receiving antenna, 512 is a radio frequency (RF) converter, and 513-1 to 513-1.
n is a correlator, 514-1 to n are spreading code generators, 515
-1 to n are synchronous circuits, 516 to 1 to n are demodulators, and 517
Is a parallel-to-serial converter.

【0044】以下に前述のように構成されたスペクトラ
ム拡散通信装置の受信部の動作について説明する。
The operation of the receiving section of the spread spectrum communication apparatus configured as described above will be described below.

【0045】受信アンテナ511にて受信された送信信
号は、RF変換器512にて適当にフィルタリング及び
増幅され、中間周波数信号に変換される。該中間周波数
信号はn個の並列に接続されたn個の拡散符号に対応す
るチャネルに分配される。各チャネルにおいて、相関器
513−1〜nでは各チャネルに対応した拡散符号発生
器514−1〜nの出力と相関検出が行われ、同期回路
515−1〜nで各チャネルごとに同期が確立され、各
拡散符号発生器514−1〜nの符号位相及びクロック
を一致させ、また復調器516−1〜nでは、復調され
データが再生される。さらに該再生データは並直列変換
器517にて直列データに変換され元のデータに戻され
る。
The transmission signal received by the reception antenna 511 is appropriately filtered and amplified by the RF converter 512, and is converted into an intermediate frequency signal. The intermediate frequency signal is distributed to channels corresponding to n parallel spreading codes. In each channel, the correlators 513-1 to n perform correlation detection with the outputs of the spread code generators 514-1 to n corresponding to each channel, and the synchronization circuits 515-1-n establish synchronization for each channel. Then, the code phases and clocks of the respective spread code generators 514-1 to n are matched with each other, and the demodulators 516-1-n demodulate and reproduce the data. Further, the reproduced data is converted to serial data by the parallel / serial converter 517 and returned to the original data.

【0046】以上がスペクトラム拡散通信方式での、基
本的な送信部,受信部のブロック図の構成、及び通信動
作の説明である。
The above is the basic block diagram configuration of the transmission unit and the reception unit and the description of the communication operation in the spread spectrum communication system.

【0047】前述したようなスペクトラム拡散通信方式
での送信装置、及び受信装置を無線通信手段として用い
る。
The transmitting apparatus and the receiving apparatus in the spread spectrum communication system described above are used as wireless communication means.

【0048】次に、図1の自動車に搭載されている、本
実施例システムの構成をブロック図4に示し、これを説
明する。
Next, the configuration of the system of this embodiment mounted on the automobile shown in FIG. 1 is shown in a block diagram 4 of FIG.

【0049】1はシステムコントローラ、2はプログラ
ムや各種データを格納しているROM、3は動作モード
の記憶や、地図データなどの蓄積の際に利用されるRA
M、4はジャイロなどから構成され車両速度や転回した
角度などを検出し、その情報をシステムコントローラ1
に出力する自律計測部、5はGPSアンテナ、6はGP
Sユニット、7は動画および静止画とも撮像可能な車載
カメラ、8はカメラ信号処理回路、9は車載カメラが撮
像した画像データを保持するためのディスク状記録媒体
及びその記録再生装置等からなる画像記憶部、10は画
像データの表示または伝送のために画像データを変換,
調整処理する画像調整部、11はリモコンや本体入力部
からなるKey入力部、12は地図情報を提供するCD
−ROMを再生するCD−ROM装置、13はCD−R
OMコントローラ、14は表示画面の描画処理部、15
は表示画面の蓄積をするVRAM、16は液晶等で構成
される表示装置、17は画像データの圧縮/伸張処理回
路、18は通信インターフェイス、19は無線通信する
データの入出力部となる無線送受信部であり、ここから
携帯電話、またはスペクトラム拡散等の無線通信手段に
所定の回路を経て接続される。さらに、20は内部バ
ス、21は車両速度や転回した情報等の走行データの入
力であり、自律走行計測にも用いられる。
1 is a system controller, 2 is a ROM storing programs and various data, and 3 is an RA used for storing operation modes and storing map data and the like.
M and 4 are composed of a gyro or the like and detect a vehicle speed, a turning angle, and the like, and transmit the information to the system controller 1.
Autonomous measurement unit that outputs to GPS, 5 is a GPS antenna, 6 is GP
S unit, 7 a vehicle-mounted camera capable of capturing both moving images and still images, 8 a camera signal processing circuit, 9 a disk-shaped recording medium for holding image data captured by the vehicle-mounted camera, and an image composed of a recording / reproducing device and the like. A storage unit for converting the image data for displaying or transmitting the image data;
An image adjustment unit for performing adjustment processing, 11 is a Key input unit including a remote controller and a main body input unit, and 12 is a CD that provides map information.
CD-ROM device for reproducing ROM, 13 is CD-R
An OM controller 14; a drawing processing unit for a display screen;
Is a VRAM for accumulating a display screen, 16 is a display device composed of a liquid crystal or the like, 17 is a compression / decompression processing circuit for image data, 18 is a communication interface, 19 is a wireless transmission / reception unit serving as an input / output unit for wirelessly communicating data. , Which is connected to a wireless communication means such as a cellular phone or spread spectrum through a predetermined circuit. Further, reference numeral 20 denotes an internal bus, and reference numeral 21 denotes an input of traveling data such as vehicle speed and turning information, which is also used for autonomous traveling measurement.

【0050】この図4の構成により、GPSユニット6
からの情報や走行データより割り出した自律走行データ
から、システムコントローラ1が自車位置を測位計算
し、CD−ROMに記録されている地図情報を用いて走
行案内表示を出力するナビゲーション機能のほか、車載
カメラ7で撮像した画像データを圧縮して記録ができ、
表示装置16に表示ができ、無線送受信部19から無線
通信を介して画像データやその他コマンドデータ等を送
受信ができ、また受信した画像データの表示装置16で
の表示、さらにコマンド入出力の制御およびコマンドに
基づく制御等も実行される。これらの各部はシステムコ
ントローラ1によって統合的に制御され、またユーザか
らKey入力部11に指示を受けることで動作制御コマ
ンドともなり得る。
The GPS unit 6 shown in FIG.
In addition to the navigation function, the system controller 1 calculates the position of the vehicle from the autonomous driving data calculated from the information and the driving data, and outputs the driving guide display using the map information recorded on the CD-ROM. Image data captured by the on-board camera 7 can be compressed and recorded,
It can be displayed on the display device 16, can transmit and receive image data and other command data and the like from the wireless transmission and reception unit 19 via wireless communication, can display the received image data on the display device 16, and can control and control the command input / output. Control based on commands is also performed. These units are integrally controlled by the system controller 1, and can become operation control commands by receiving an instruction from the user to the key input unit 11.

【0051】なお、車載カメラ7は図5に示すように、
車内に取り付けられ、車の前方を撮像するように備え付
けられている。しかし、このカメラの方向は必要に応じ
て任意の方向に向けてもよく、取り付け位置も任意であ
って構わない。車の後方を撮像するカメラであっても、
さらに、カメラが前方、後方等複数取り付けられていて
も、本発明の趣旨の範囲である。
The in-vehicle camera 7 is, as shown in FIG.
It is installed inside the vehicle and is provided so as to image the front of the vehicle. However, the direction of this camera may be directed to any direction as necessary, and the mounting position may be arbitrary. Even a camera that images the back of a car,
Further, even if a plurality of cameras are mounted, such as a front camera and a rear camera, it is within the scope of the present invention.

【0052】次に、画像データの送信について説明する
ため、送信側自動車でのカーナビゲーション装置を含む
本実施例システムのうち、送信にかかわる部分のブロッ
クを図6に示し、説明する。
Next, in order to explain transmission of image data, FIG. 6 shows a block diagram of a portion related to transmission in the system of the present embodiment including a car navigation device in a transmission-side automobile, and will be described.

【0053】図6の構成要素としては、図4にて既に説
明したシステムコントローラ1,自律計測部4,GPS
アンテナ5,GPS受信部(ユニット内)6,車載カメ
ラ7,カメラ信号処理回路8,画像記憶部9,画像調整
回路(画像調整部内)10,圧縮伸長回路17,無線送
受信部19、および、システムコントローラ1の一部で
あって自車位置を検出し、位置情報として出力する自車
位置検出部31、画像調整部の一部であって画像データ
のフォーマット,サイズ,データ量等の画像方式の変
換,調整のための設定をする画像方式設定回路32、同
じく画像調整部の一部であって画像データの圧縮フォー
マットの変換のための設定をする圧縮方式設定回路3
3、合成部34から成る。
The components shown in FIG. 6 include the system controller 1, autonomous measuring unit 4, GPS
Antenna 5, GPS receiver (in unit) 6, on-board camera 7, camera signal processing circuit 8, image storage unit 9, image adjustment circuit (in image adjustment unit) 10, compression / expansion circuit 17, wireless transmission / reception unit 19, and system A part of the controller 1 which detects the position of the vehicle and outputs it as position information; and a part of the image adjustment part which is a part of the image adjustment unit and which is based on image formats such as format, size and data amount of image data. An image method setting circuit 32 for setting for conversion and adjustment, and a compression method setting circuit 3 which is also a part of the image adjustment unit and performs setting for conversion of a compression format of image data.
3. Combining unit 34.

【0054】続いて動作を説明する。Next, the operation will be described.

【0055】GPSアンテナ5においてGPS衛星から
送信された電波を受信し、これをGPS受信部6におい
てGPSによる位置判定の処理を行う。GPS情報と、
さらに衛星電波の届かない場所では自律計測部4により
自律走行データも加味し、システムコントローラ1はナ
ビゲーションのための処理を行う。
The GPS antenna 5 receives radio waves transmitted from GPS satellites, and the GPS receiver 6 performs position determination processing by GPS. GPS information,
Further, in places where satellite radio waves do not reach, the autonomous measurement data is taken into account by the autonomous measurement unit 4, and the system controller 1 performs processing for navigation.

【0056】また、自車位置検出部31では、GPS情
報及びシステムコントローラ1が判定した位置情報か
ら、記録用データとしての位置情報を検出し、出力す
る。
The own vehicle position detecting section 31 detects and outputs position information as recording data from the GPS information and the position information determined by the system controller 1.

【0057】また、車載カメラ7が撮影している画像
は、カメラ信号処理回路8でデジタル化、および色信
号,輝度信号においてそれぞれ必要な信号処理が施さ
れ、画像データとなる。そしてカメラ信号処理回路8よ
り出力された画像データは、自車位置検出部31からの
記録用位置情報と合成部34にて多重され、圧縮/伸張
処理回路17に至る。ここで、画像データはあらかじめ
定められた所定の圧縮方式で圧縮される。圧縮のメリッ
トは記録量の減少化や、伝送効率の向上のためである。
静止画ならばJPEG,JBIG等、動画ならばMPE
G1,MPEG2やMPEG4が望ましい圧縮方式であ
るが、これに限らずともよい。本実施例では、自動車間
の通信,カーナビゲーション装置の表示サイズなどから
考慮し、主としてJPEGおよびMPEG4を用いて画
像データを圧縮して記録,伝送するものとする。しか
し、その他の圧縮方式、画像フォーマットにも対応可能
な構成を実現して、伝送の際には他の画像フォーマット
への変換も可能な構成をとるものとする。
The image captured by the on-vehicle camera 7 is digitized by the camera signal processing circuit 8 and subjected to necessary signal processing for the chrominance signal and the luminance signal to become image data. The image data output from the camera signal processing circuit 8 is multiplexed with the recording position information from the vehicle position detection unit 31 by the synthesizing unit 34 and reaches the compression / expansion processing circuit 17. Here, the image data is compressed by a predetermined compression method. The advantages of compression are to reduce the amount of recording and to improve transmission efficiency.
JPEG, JBIG, etc. for still images, MPE for moving images
G1, MPEG2 and MPEG4 are desirable compression methods, but are not limited thereto. In this embodiment, image data is compressed, recorded, and transmitted mainly using JPEG and MPEG4 in consideration of communication between vehicles, display size of a car navigation device, and the like. However, a configuration capable of supporting other compression methods and image formats is realized, and a configuration capable of conversion to another image format upon transmission is adopted.

【0058】ここで、JPEGについては公知公用なの
で説明は省略するが、MPEG4についてその開発背
景、および構成を図を用いて以下に簡単に説明する。
The description of JPEG is omitted since it is a publicly known and publicly known one, but the development background and configuration of MPEG4 will be briefly described below with reference to the drawings.

【0059】近年、画像の符号化技術の高度化、コンピ
ュータの進歩に伴い、画像の中の物体(オブジェクト)
毎に切り分けて符号化する方式が提案され始めている。
画像をオブジェクト単位で符号化することで、各オブジ
ェクトに最適な符号を行うことで符号化効率を向上させ
ると同時に、画像内のオブジェクトを編集することで新
たな画像を生成する機能を得ることができる。動画像
で、画像のオブジェクト毎に符号化する方式が国際標準
化方式MPEG4として検討されている(参考文献:
「MPEG4の標準化動向」、栄藤、画像電子学会誌第
25巻第3号(1996)pp.223−228)。
In recent years, with the sophistication of image coding technology and the advance of computers, objects in an image
A scheme for segmenting and encoding each time has been proposed.
By encoding an image on an object basis, it is possible to improve the encoding efficiency by performing optimal encoding for each object, and to obtain a function of generating a new image by editing an object in the image. it can. A method of encoding moving images for each image object has been studied as the international standardized method MPEG4 (references:
"Standardization Trends of MPEG4", Eito, Journal of the Institute of Image Electronics Engineers of Japan, Vol. 25, No. 3, 1996. 223-228).

【0060】対象となる画面の例を図7に示す。図7は
動画の1フレームを表している。この図7のフレーム4
01はa〜dに示す4つのオブジェクトで構成される。
すなわち、背景を表すオブジェクトa、ヘリコプタを表
すオブジェクトb、列車を表すオブジェクトc、車を表
すオブジェクトdである。これらの形状を表すために、
背景以外のオブジェクトはe〜gに示すように矩形で表
された領域のうち、黒の部分を領域外、白の部分を領域
内とするマスクを持ち、これを符号化しておくことで任
意の形状のオブジェクトを扱えるようにしている。すな
わち、オブジェクト403にはマスク406、オブジェ
クト404にはマスク407、オブジェクト405には
マスク408がそれぞれ対応する。
FIG. 7 shows an example of a target screen. FIG. 7 shows one frame of a moving image. Frame 4 in FIG.
01 is composed of four objects a to d.
That is, an object a representing a background, an object b representing a helicopter, an object c representing a train, and an object d representing a car. To represent these shapes,
Objects other than the background have a mask in which the black portion is outside the region and the white portion is inside the region in the rectangular regions as shown by e to g. It can handle objects with shapes. That is, the mask 406 corresponds to the object 403, the mask 407 corresponds to the object 404, and the mask 408 corresponds to the object 405.

【0061】その符号化の概要を図8に示す。入力画像
301はオブジェクト分離部302に入力され、それぞ
れのオブジェクトに分離される。図7の画像ではオブジ
ェクト402,403,404,405に分離される。
分離されたオブジェクトはそれぞれが独立に符号化され
る。すなわち、オブジェクト402はオブジェクト符号
化部303で、オブジェクト403はオブジェクト符号
化部304で、オブジェクト404はオブジェクト符号
化部305で、オブジェクト405はオブジェクト符号
化部306で符号化される。各オブジェクト符号化部3
03〜306で得られた符号化データはマルチプレクサ
307でまとめられ、コードデータ308として送出さ
れる。
FIG. 8 shows an outline of the encoding. The input image 301 is input to the object separation unit 302 and is separated into respective objects. In the image of FIG. 7, the objects are separated into objects 402, 403, 404, and 405.
Each of the separated objects is independently encoded. That is, the object 402 is encoded by the object encoding unit 303, the object 403 is encoded by the object encoding unit 304, the object 404 is encoded by the object encoding unit 305, and the object 405 is encoded by the object encoding unit 306. Each object encoding unit 3
The encoded data obtained in steps 03 to 306 are collected by the multiplexer 307 and sent out as code data 308.

【0062】続いて復号の概要を図9に示す。前述のコ
ードデータ308はデマルチプレクタ309に入力さ
れ、各オブジェクト毎の符号化データに分離する。分離
された符号化データは独立に復号される。すなわち、オ
ブジェクト402はオブジェクト復号化部310で、オ
ブジェクト403はオブジェクト復号化部311で、オ
ブジェクト404はオブジェクト復号化部312で、オ
ブジェクト405はオブジェクト復号化部313で復号
化される。各オブジェクト復号化部310〜313で得
られた画像データはオブジェクト合成部314で各オブ
ジェクトのあるべき位置に配置されて、1枚の画像を合
成し、再生画像315を得る。
FIG. 9 shows an outline of the decoding. The above-described code data 308 is input to the demultiplexer 309 and is separated into encoded data for each object. The separated encoded data is independently decoded. That is, the object 402 is decoded by the object decoding unit 310, the object 403 is decoded by the object decoding unit 311, the object 404 is decoded by the object decoding unit 312, and the object 405 is decoded by the object decoding unit 313. The image data obtained by each of the object decoding units 310 to 313 is arranged at a desired position of each object by the object synthesizing unit 314, and a single image is synthesized to obtain a reproduced image 315.

【0063】以上が大まかなMPEG4の説明である。The above is a general description of MPEG4.

【0064】図6の説明に戻り、続いて、図6の圧縮伸
張回路17の圧縮処理を経て圧縮された画像データは、
記録系と伝送系に至る。
Returning to the description of FIG. 6, the image data compressed through the compression processing of the compression / expansion circuit 17 of FIG.
It reaches the recording system and the transmission system.

【0065】画像データを記録するときは画像記憶部9
に記録する。書き込み可能な記録媒体から構成される画
像記憶部9に格納される画像データの記憶フォーマット
は、図10に示したようになる。各画像データは、ID
部と位置情報部と画像データとを含む。ID部にはアド
レス等のID情報を、位置情報部には自車位置検出部3
1から出力された地理上の位置を特定するための緯度や
経度等の情報(位置情報)を格納し、各画像データ部に
は動画または静止画の画像データが順次格納される。
When recording image data, the image storage 9
To record. The storage format of the image data stored in the image storage unit 9 composed of a writable recording medium is as shown in FIG. Each image data is ID
Section, a position information section, and image data. The ID section includes ID information such as an address, and the position information section includes the vehicle position detecting section 3.
1 stores information (positional information) such as latitude and longitude for specifying a geographical position output from 1, and image data of a moving image or a still image is sequentially stored in each image data portion.

【0066】また、画像データ記憶部9より再生した圧
縮画像データ、またはカメラからの入力で圧縮回路17
で圧縮された画像データは、無線伝送に前立って、シス
テムコントローラ1の制御、画像調整回路10および画
像方式設定回路32,圧縮方式設定回路33によって画
像の調整,変換処理が施される。具体的な画像調整と
は、送信先となる受信側機器からリクエストを受けたと
きに、同時に機器情報を受け取ることによって、受信側
機器の対応可能な画像フォーマット,画面サイズ,機
能、さらにはメーカ固有の情報(ROM情報)などを考
慮し、受信側機器に対して効果的な画像方式(請求項の
処理方式に対応する)に変換して伝送できるように、画
像データの間引きや、付加情報の追加、画像フォーマッ
トの変換等をして調整する。また、特に画像圧縮方式に
対しては、圧縮方式の変換、MPGE4からMPEG2
やMPEG1、もしくは非圧縮への変換などを圧縮伸張
回路17へのフィードバックも適宜追加しながら変換処
理する。受信側機器がMPEGデータの処理が可能であ
るならば、対応するMPEGフォーマットで圧縮した画
像データを伝送し、不可能であるならば伸張処理して、
非圧縮画像データを伝送することが可能になる。
The compression circuit 17 receives the compressed image data reproduced from the image data storage section 9 or the input from the camera.
The image data compressed by is subjected to image adjustment and conversion processing by the control of the system controller 1, the image adjustment circuit 10, the image method setting circuit 32, and the compression method setting circuit 33 prior to wireless transmission. Specific image adjustment means that when a request is received from the receiving device as the transmission destination, the device information is received at the same time, and the image format, screen size, function, and manufacturer specific Image data (ROM information), etc., so that the image data can be converted to an effective image format (corresponding to the processing system in the claims) and transmitted to the receiving device so that the image data is thinned out and additional information is added. Adjust by adding, converting image format, etc. In particular, for the image compression method, conversion of the compression method, MPGE4 to MPEG2
For example, conversion to MPEG1 or non-compression is performed while appropriately adding feedback to the compression / expansion circuit 17. If the receiving device can process the MPEG data, it transmits the image data compressed in the corresponding MPEG format, and if not, decompresses the image data.
It becomes possible to transmit uncompressed image data.

【0067】その後、調整された画像データは無線送受
信部19から無線通信,携帯電話等を介して送信され
る。また、無線送受信部19で受信したデータのうち送
信リクエスト等のコマンドデータは、システムコントロ
ーラ1に至り画像送信の際の制御コマンドとなる。
Thereafter, the adjusted image data is transmitted from the wireless transmission / reception unit 19 via wireless communication, a portable telephone, or the like. Command data such as a transmission request among data received by the wireless transmission / reception unit 19 reaches the system controller 1 and becomes a control command for image transmission.

【0068】つぎに、本実施例のカーナビゲーション装
置を含むシステムを搭載した受信側となる自動車で、送
信リクエスト、および画像データの受信にかかわる部分
のブロックを図11に示し、説明する。
Next, FIG. 11 shows a block diagram of a part related to a transmission request and image data reception in an automobile serving as a receiving side equipped with a system including the car navigation device of the present embodiment.

【0069】図11の構成要素としては、図4にて既に
説明したシステムコントローラ1,ROM2,自律計測
部4,GPSアンテナ5,GPS受信部(ユニット内)
6,描画処理回路14,表示装置16,伸張回路(圧縮
伸張回路の一部)17,無線送受信部19、およびシス
テムコントローラ1の一部であって自車位置を検出し、
位置情報として出力する自車位置検出部31、同じくR
OM2のプログラム情報や各部の構成などから対応可能
な画像の種類,表示手段の構成や能力などを機器情報と
して発生させ、および送信機器に対するリアルタイム画
像伝送モードまたは記憶画像伝送モードの指示コマンド
を発生させ、リクエストとして出力するリクエスト発生
部41、無線伝送されたデータから位置情報を検出する
位置情報検出部42,合成部43,データ分離部44か
ら成る。
The components of FIG. 11 include the system controller 1, ROM 2, autonomous measuring unit 4, GPS antenna 5, GPS receiving unit (within the unit) already described with reference to FIG.
6, a drawing processing circuit 14, a display device 16, a decompression circuit (part of a compression / decompression circuit) 17, a wireless transmission / reception unit 19, and a part of the system controller 1 to detect the position of the vehicle,
Own-vehicle-position detecting unit 31 that outputs position information,
Generating the types of images that can be handled, the configuration and capabilities of the display means, etc. from the OM2 program information and the configuration of each unit as device information, and generating an instruction command for the transmission device in a real-time image transmission mode or a stored image transmission mode. A request generating unit 41 for outputting a request, a position information detecting unit 42 for detecting position information from wirelessly transmitted data, a combining unit 43, and a data separating unit 44.

【0070】続いて動作を説明する。Next, the operation will be described.

【0071】GPSアンテナ5においてGPS衛星から
送信された電波を受信し、これをGPS受信部6におい
てGPSによる位置判定の処理を行う。GPS情報と、
さらに衛星電波の届かない場所では自律計測部4により
自律走行データも加味し、システムコントローラ1はナ
ビゲーションのための処理を行う。
The GPS antenna 5 receives a radio wave transmitted from a GPS satellite, and the GPS receiver 6 performs a GPS position determination process. GPS information,
Further, in places where satellite radio waves do not reach, the autonomous measurement data is taken into account by the autonomous measurement unit 4, and the system controller 1 performs processing for navigation.

【0072】また、自車位置検出部31ではGPS情報
及びシステムコントローラ1が判定した位置情報から、
自車位置を示す情報を検出し、データとして出力する。
また、自装置が対応可能な画像フォーマット,画面サイ
ズ,機能、さらにはメーカ固有の情報などをROM2や
システムコントローラ1などから必要な情報を採取、出
力し機器情報を発生させ、リクエスト発生部41で送信
側機器に送る機器情報としてデータ化し、かつKey入
力部11から指示入力されるユーザの選択に応じて、送
信側機器を搭載した自動車からのリアルタイムな画像デ
ータを入手するか、または過去に記憶した画像を送信側
機器の画像記憶部より読み出して入手するかを選び、そ
のモード選択の指示情報も機器情報とともにリクエスト
として出力する。そして、自車位置情報とリクエストを
合成器43で合成し、送信リクエストとして、無線送受
信部19から送信側機器に無線手段で送信し、画像デー
タの受信を図る。
The own-vehicle position detecting section 31 calculates the position of the vehicle from the GPS information and the position information determined by the
Information indicating the position of the vehicle is detected and output as data.
Further, necessary information is collected and output from the ROM 2 and the system controller 1 to output image formats, screen sizes, functions, and manufacturer-specific information that can be supported by the own device, and device information is generated. Data is converted into device information to be transmitted to the transmitting device, and real-time image data from a vehicle equipped with the transmitting device is obtained or stored in the past in accordance with a user's selection instructed and input from the key input unit 11. The user selects whether to obtain the read image from the image storage unit of the transmission side device and obtains the mode selection instruction information together with the device information as a request. Then, the vehicle position information and the request are combined by the combiner 43, and transmitted as a transmission request from the wireless transmission / reception unit 19 to the transmission-side device by wireless means to receive image data.

【0073】送信側機器では、送信リクエストを受信し
たならば、記憶画像の伝送モードまたはリアルタイム画
像データの伝送を判別し、リアルタイムモードの場合
は、現在撮像している画像データをリアルタイムに、記
憶画像伝送モードの場合は、送信リクエスト内の受信側
の位置情報を基に該当する位置情報を有する記憶済画像
データを記憶装置より読み出し、伝送制御をする。
When the transmission device receives the transmission request, it determines the transmission mode of the stored image or the transmission of the real-time image data. In the case of the transmission mode, the stored image data having the corresponding position information is read from the storage device based on the position information on the receiving side in the transmission request, and the transmission is controlled.

【0074】次に、画像データの受信に際しては、まず
無線送受信部19で受信した画像データから、データ分
離部44で画像データ本体と付加情報となる位置情報を
分離する。画像データは伸張回路17で伸張され、表示
装置16に至り表示される。また、位置情報は位置情報
検出部42でリアルタイムモードの場合送信側車の位
置、記憶画像伝送モードの場合は記憶された位置を示
す、位置情報として検出され、描画処理回路14に至
り、ここでCD−ROMより供給されるマップデータと
混合され、表示装置16に表示可能となる。
Next, when receiving the image data, first, the data separating section 44 separates the image data body and positional information serving as additional information from the image data received by the wireless transmitting / receiving section 19. The image data is expanded by the expansion circuit 17 and displayed on the display device 16. Further, the position information is detected by the position information detecting unit 42 as position information indicating the position of the transmitting vehicle in the case of the real-time mode and the position stored therein in the case of the stored image transmission mode. The data is mixed with the map data supplied from the CD-ROM and can be displayed on the display device 16.

【0075】以上が、図11の受信側機器の動作の説明
である。自車位置検出部31から出力する位置情報に追
加データを加えることによって、任意の位置、例えば自
車位置の数Km先の地点等を演算によって求めて設定す
れば、送信側機器に記憶画像があるならば、その位置で
の記憶済画像データを入手することもできる。
The above is the description of the operation of the receiving side device in FIG. By adding and adding additional data to the position information output from the vehicle position detection unit 31, an arbitrary position, for example, a point several Km ahead of the vehicle position, is calculated and set. If so, the stored image data at that position can be obtained.

【0076】リアルタイムモードのときの、受信車での
モニタの様子を図12に示す。ナビゲーション表示画面
の一例として、表示装置601にCD−ROMから読み
出したマップ情報より作成したマップ画面602をベー
スに表示し、画面の一部に先行している相手の送信車か
らのリアルタイム画像603を表示している。そして、
自車及び相手車のいる位置を、各々の位置情報を基に矢
印等のキャラクタで示している。このように先行車から
の映像を入手することは、混雑状態を知る、または先行
する地点の実際の風景画を確認しながらの走行案内とし
ての効果もある。
FIG. 12 shows a state of the monitor in the receiving vehicle in the real time mode. As an example of the navigation display screen, a map screen 602 created from map information read from a CD-ROM is displayed on the display device 601 as a base, and a real-time image 603 from the other party's transmitting vehicle preceding a part of the screen is displayed. it's shown. And
The positions of the own vehicle and the opponent vehicle are indicated by characters such as arrows based on the respective position information. Obtaining the video from the preceding vehicle in this manner also has the effect of knowing the congestion state or running guidance while confirming the actual landscape image of the preceding point.

【0077】また、記憶画像読み出しモードのときは、
既に先行した相手車から、先行車が現在受信車がいる位
置を通過時に撮像し記憶した画像を読み出して受信でき
るので、実際の風景画を走行案内用として表示でき、特
に入り組んだ路地等で効果的である。またこのとき受信
車のいる位置の位置情報を基にして、位置情報を調整す
ることで任意の位置での記憶画像も要求することができ
る。
In the stored image reading mode,
When the preceding vehicle has passed the position where the receiving vehicle is currently located, it can be read and received from the other vehicle that has passed ahead, and the stored image can be read and received, so that the actual landscape image can be displayed for travel guidance, and this is particularly effective in complicated roads and the like. It is a target. At this time, by adjusting the position information based on the position information of the position where the receiving vehicle is present, a stored image at an arbitrary position can be requested.

【0078】次に本実施例を用いた、画像データの無線
伝送に関する動作について、主要動作をフローチャート
を図13に示し説明する。図13のフローチャートは、
送信側と受信側とで分けて、双方間での無線伝送に関す
る状態を太線で示してある。
Next, the main operation of the present embodiment relating to wireless transmission of image data will be described with reference to a flowchart of FIG. The flowchart of FIG.
The state related to wireless transmission between the transmitting side and the receiving side is indicated by a bold line.

【0079】まず、本実施例の動作を実行するモードに
おいて、ステップS1では受信側は既に説明した送信リ
クエストを発生し、無線送信する。ステップS2とし
て、前記送信リクエストを受信可能な状態を保つ、指定
された、または任意である搭載したナビゲーション機器
が、ステップS1の送信リクエストを受信すると、以降
画像データを送信するように制御され、送信側機器とな
る。続いて、送信側機器はステップS3では送信リクエ
ストから伝送モードの情報を判別し、伝送モードがカメ
ラからのリアルタイム画像を要求しているときは、ステ
ップS5のカメラ画像入力側にフローし、記憶してある
画像データの読み出しを要求しているときはステップS
8の記憶画像伝送モード側にフローする。
First, in the mode in which the operation of the present embodiment is executed, in step S1, the receiving side generates the transmission request described above and performs wireless transmission. In step S2, when the specified or optional mounted navigation device, which keeps the transmission request receivable, receives the transmission request in step S1, it is controlled to transmit the image data thereafter, and Side device. Subsequently, in step S3, the transmission-side device determines transmission mode information from the transmission request. If the transmission mode requires a real-time image from the camera, the transmission-side device flows to the camera image input side in step S5 to store the information. If reading of the image data is requested, step S
8, the flow is shifted to the stored image transmission mode side.

【0080】リアルタイム画像伝送モードとして、ステ
ップS5では送信側の車載カメラから画像を入力し、ス
テップS6としてGPS情報などを基に自車の位置情報
を画像データに多重し、ステップS7としてカメラから
入力した画像データを圧縮する。
In the real-time image transmission mode, in step S5, an image is input from a vehicle camera on the transmitting side, and in step S6, position information of the own vehicle is multiplexed with image data based on GPS information and the like, and in step S7, input from the camera. Compressed image data.

【0081】記憶画像伝送モードとしては、ステップS
8として記憶画像伝送モードを設定し、続いてステップ
S9にて受信側から送信された送信リクエスト中の受信
側位置情報を記憶画像データ検索用情報として用いて、
記憶媒体に記憶されている各画像データの位置情報から
該当するものを検索する。ここでステップS10とし
て、該当する位置情報を持つ画像データが記憶されてい
る場合はステップS11としてその画像データの再生処
理を行う。また、ステップS10で該当する記憶画像が
ない場合は、ここでフローは終了となる。
As the stored image transmission mode, step S
The storage image transmission mode is set as 8 and subsequently, the receiving side position information in the transmission request transmitted from the receiving side in step S9 is used as stored image data search information,
A corresponding one is searched from the position information of each image data stored in the storage medium. Here, if image data having the corresponding position information is stored in step S10, a reproduction process of the image data is performed in step S11. If there is no corresponding stored image in step S10, the flow ends here.

【0082】リアルタイム伝送モードにて、ステップS
7で圧縮されたカメラよりの入力画像データ、または記
憶画像伝送モードにてステップS11で再生された画像
データは、ステップS12の画像調整が施される。この
画像調整とは、既に説明したように、画像調整回路で行
われる受信側装置の固有機器情報に応じた画像データの
変換処理である。ステップS12で画像調整された後、
ステップS13で画像データは無線伝送される。
In the real time transmission mode, step S
The input image data from the camera compressed in step S7 or the image data reproduced in step S11 in the stored image transmission mode is subjected to image adjustment in step S12. As described above, the image adjustment is a conversion process of image data performed by the image adjustment circuit in accordance with the unique device information of the receiving device. After the image is adjusted in step S12,
In step S13, the image data is transmitted wirelessly.

【0083】一方受信側においては、ステップS1でリ
クエストを送信した後、画像データの受信スタンバイに
入り、送信側の処理を経て送信されたリアルタイム、ま
たは再生画像データをステップS14で受信したならば
ステップS16の画像伸張に至る。ステップS14で画
像データを受信しないならば、ステップS15で所定時
間の経過を判断し、所定時間が過ぎていないならば受信
を待つようスタンバイしたまま、所定時間が過ぎたなら
ば、送信すべき画像データがないか、またはアクシデン
トで通信が行えていないということで、ここでフローは
終了となる。
On the other hand, on the receiving side, after transmitting the request in step S1, the process enters a standby for receiving image data, and if the real-time or reproduced image data transmitted through the processing on the transmitting side is received in step S14, This leads to image expansion in S16. If the image data is not received in step S14, the elapse of a predetermined time is determined in step S15. If the predetermined time has not elapsed, the image forming apparatus 100 remains on standby to wait for reception. The flow ends here because there is no data or communication is not possible due to an accident.

【0084】ステップS16で画像データの伸張処理を
行い、圧縮を解く。次いでステップS17で画像と同時
に送信側から送信されている位置情報を基に、地図情報
とともに表示させるマップ描画処理を行う。このマップ
表示と、送信された画像データを合成して同時に、また
は選択的に表示可能として、ステップS18で表示装置
に、伝送に対応して随時表示していく。
In step S16, the image data is expanded to decompress it. Next, in step S17, a map drawing process for displaying the map information together with the map information is performed based on the position information transmitted from the transmitting side simultaneously with the image. The map display and the transmitted image data are combined and simultaneously or selectively made displayable, and are displayed on the display device in step S18 as needed in response to transmission.

【0085】記憶画像伝送モードのとき、任意の時間記
憶されている画像データの1ユニットの再生が終了した
ら、または、リアルタイムモードのときも含めて、送信
側ユーザより終了の命令があったならば、ステップS2
2で終了の判断となり、これで送信は終了し、フローは
終了する。ステップS22の終了の判断が行われないと
きは、引き続きステップS13に戻り無線送信を続行す
る。
In the stored image transmission mode, when the reproduction of one unit of the image data stored for an arbitrary time is completed, or when there is a termination command from the transmitting user including the real time mode. , Step S2
At 2, the transmission is terminated, and the transmission is terminated and the flow is terminated. If the end of step S22 is not determined, the process returns to step S13 to continue wireless transmission.

【0086】また、ステップS19で送信側で画像の送
信が終了し、無線送信が終了したと判断したならば、受
信側のフローも終了となるが、終了で無いときはステッ
プS20に至り、ここで受信側ユーザの強制終了の判断
がある場合は停止命令として停止コマンドを発令し、ス
テップS21で送信側にも停止の旨を伝える停止コマン
ドを無線送信し、終了する。停止コマンドを受け取った
送信側は、通常終了時と同様、ステップS22で終了と
判断され終了処理を行う。また、ステップS20で停止
の判断がない場合は、一括して無線送信されず、所定間
隔をおいて随時送られてくるときなどに、フロー的には
ステップS14の画像データの受信から繰り返し行い、
円滑に受信処理,表示処理を随時実行して行く。
If it is determined in step S19 that the image transmission has been completed on the transmitting side and that the wireless transmission has been completed, the flow on the receiving side also ends. If not, the process proceeds to step S20. In step S21, a stop command is issued as a stop command, a stop command for notifying the user of the stop is wirelessly transmitted to the transmitting side, and the process ends. The transmitting side that has received the stop command determines that the process is to be ended in step S22 and performs the end process, as in the case of the normal end. If the stop is not determined in step S20, the data is not transmitted wirelessly in a lump, but is repeatedly transmitted from the reception of the image data in step S14 in a flow such as when transmitted at predetermined intervals.
The receiving process and the display process are executed smoothly as needed.

【0087】以上がフローチャート図13に示した、本
実施例の動作の説明である。
The above is the description of the operation of this embodiment shown in the flowchart of FIG.

【0088】以上説明したように、本実施例によれば、
このように構成することで、相手車が撮像した画像デー
タを自車のカーナビゲーション手段の表示部に表示可能
となる。そのとき、自車のGPS情報を基に相手車の記
憶画像データを検索し、先行した相手車から必要とする
最適位置の画像データを読み出すことができるので、走
行案内において効果的である。具体的には、記憶画像読
み出しモードのときは、既に先行した相手車から、先行
車が現在受信車がいる位置を通過時に撮像し記憶した画
像を読み出して受信できるので、実際の風景画を走行案
内用として表示でき、特に入り組んだ路地等で効果的で
ある。さらに、このとき受信車のいる位置の位置情報を
基にして、受信側位置情報を調整することで、送信側よ
り任意の位置で記憶された記憶画像も要求することがで
きるようになる。
As described above, according to the present embodiment,
With this configuration, image data captured by the other vehicle can be displayed on the display unit of the car navigation unit of the own vehicle. At that time, the stored image data of the opponent vehicle can be searched based on the GPS information of the own vehicle, and the image data of the required optimum position can be read from the preceding opponent vehicle, which is effective in traveling guidance. Specifically, in the stored image reading mode, since the image taken and stored when the preceding vehicle has passed the position where the receiving vehicle is currently located can be read and received from the other vehicle that has already preceded, the actual traveling image can be traveled. It can be displayed for guidance, and is particularly effective in complicated alleys. Further, at this time, by adjusting the receiving side position information based on the position information of the position where the receiving vehicle is located, the transmitting side can also request the stored image stored at an arbitrary position.

【0089】さらに、先行車のリアルタイムな撮像画像
を入手することで、渋滞回避などにも適応できる。
Further, by obtaining a real-time image of the preceding vehicle, it is possible to adapt to avoiding traffic congestion.

【0090】また、相手車のカーナビゲーション装置,
表示装置に適応するような画像データに変換処理して伝
送するようにしたことで、各メーカによって方式,規格
が異なるナビゲーション装置でも対応でき、伝送時に際
しても最適な画像形式を選ぶことで、円滑な伝送が可能
になる。
Also, a car navigation device of the other vehicle,
By converting the data into image data suitable for the display device and transmitting it, it is possible to support navigation devices with different methods and standards depending on the manufacturer, and by selecting the most appropriate image format for transmission, smooth operation is possible. Transmission becomes possible.

【0091】[0091]

【発明の効果】以上説明したように、本発明によれば、
移動体を有するシステムにおいて、所望の画像を送,受
することができる。
As described above, according to the present invention,
In a system having a moving body, a desired image can be transmitted and received.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 実施例の使用状態を示す概念図FIG. 1 is a conceptual diagram showing a use state of an embodiment.

【図2】 スペクトラム拡散通信装置の送信部の構成を
示すブロック図
FIG. 2 is a block diagram illustrating a configuration of a transmission unit of the spread spectrum communication apparatus.

【図3】 スペクトラム拡散通信装置の受信部の構成を
示すブロック図
FIG. 3 is a block diagram showing a configuration of a receiving unit of the spread spectrum communication apparatus.

【図4】 実施例の要部の構成を示すブロック図FIG. 4 is a block diagram showing a configuration of a main part of the embodiment.

【図5】 車載カメラの取付状態を示す図FIG. 5 is a diagram showing an attached state of a vehicle-mounted camera.

【図6】 送信部の構成を示すブロック図FIG. 6 is a block diagram illustrating a configuration of a transmission unit.

【図7】 オブジェクト分離の説明図FIG. 7 is an explanatory diagram of object separation.

【図8】 MPEG4による符号化の説明図FIG. 8 is an explanatory diagram of encoding by MPEG4.

【図9】 MPEG4による復号化の説明図FIG. 9 is an explanatory diagram of decoding by MPEG4.

【図10】 記憶形態の概念図FIG. 10 is a conceptual diagram of a storage mode.

【図11】 受信部の構成を示すブロック図FIG. 11 is a block diagram illustrating a configuration of a receiving unit.

【図12】 受信側での表示例を示す図FIG. 12 is a diagram showing a display example on the receiving side.

【図13】 実施例の動作を示すフローチャートFIG. 13 is a flowchart showing the operation of the embodiment.

【図14】 従来のカーナビゲーション装置の構成を示
すブロック図
FIG. 14 is a block diagram showing a configuration of a conventional car navigation device.

【符号の説明】[Explanation of symbols]

1 システムコントローラ 6 GPSユニット 7 車載カメラ 16 表示装置 19 無線送受信部 DESCRIPTION OF SYMBOLS 1 System controller 6 GPS unit 7 In-vehicle camera 16 Display device 19 Wireless transmission / reception part

フロントページの続き Fターム(参考) 2C032 HB03 HB25 HC02 HC05 HC23 HC32 HD04 HD12 HD26 2F069 AA03 BB21 GG07 GG59 GG65 HH30 5C054 AA02 EB05 EG01 FA04 FE18 GB01 HA28 HA30 5H180 AA01 AA25 AA26 AA27 BB04 BB05 BB13 CC04 CC12 FF04 FF05 FF13 FF22 FF24 FF27 FF33 FF38 5K067 AA34 BB04 BB36 DD52 EE02 EE25 FF03 JJ52 JJ56 Continued on front page F-term (reference) 2C032 HB03 HB25 HC02 HC05 HC23 HC32 HD04 HD12 HD26 2F069 AA03 BB21 GG07 GG59 GG65 HH30 5C054 AA02 EB05 EG01 FA04 FE18 GB01 HA28 HA30 5H180 AA01 AA25 FF04 BB13 FF13 BB13 FF13 BB13FF FF27 FF33 FF38 5K067 AA34 BB04 BB36 DD52 EE02 EE25 FF03 JJ52 JJ56

Claims (12)

【特許請求の範囲】[Claims] 【請求項1】 当該移動体の外部の風景を撮像する撮像
手段と、当該移動体の位置を検出する位置検出手段と、
前記撮像手段で撮像した画像の情報に、前記位置検出手
段で検出した位置の情報を付加するなどの処理を行う処
理手段と、この処理手段の出力を無線送信する送信手段
とを備えたことを特徴とする移動体用処理装置。
1. An image pickup means for picking up an image of a scene outside the moving body, a position detecting means for detecting a position of the moving body,
Processing means for performing processing such as adding information on the position detected by the position detection means to information on the image captured by the imaging means, and transmission means for wirelessly transmitting the output of the processing means. A processing device for a moving object.
【請求項2】 請求項1記載の移動体用処理装置におい
て、前記処理手段は、受信側の機器の処理方式に整合さ
せる処理をも行うものであることを特徴とする移動体用
処理装置。
2. The mobile processing apparatus according to claim 1, wherein said processing means also performs processing for matching with a processing method of a device on the receiving side.
【請求項3】 請求項1記載の移動体用処理装置におい
て、前記処理手段で処理した位置情報付画像情報を記憶
する記憶手段と、この記憶手段から、受信側からリクエ
ストされた位置情報にかかる画像情報をその位置情報を
キーとして検索する検索手段とを備え、前記検索手段で
検索した画像情報を前記送信手段で送信することを特徴
とする移動体用処理装置。
3. The processing apparatus for a mobile object according to claim 1, wherein said storage means stores the image information with position information processed by said processing means, and the storage means stores the position information requested by the receiving side. A processing device for a mobile object, comprising: a search unit that searches for image information using its position information as a key, wherein the image information searched by the search unit is transmitted by the transmission unit.
【請求項4】 当該移動体の位置を検出する位置検出手
段と、この位置検出手段で検出した位置の情報にかかる
画像情報のリクエストを生成するリクエスト生成手段
と、このリクエスト生成手段で生成したリクエストを無
線送信する送信手段と、送信側からの画像情報を無線受
信する受信手段と、この受信手段で受信した画像情報の
画像を表示する表示手段とを備えたことを特徴とする移
動体用処理装置。
4. A position detecting means for detecting a position of the moving object, a request generating means for generating a request for image information relating to information on the position detected by the position detecting means, and a request generated by the request generating means. Transmitting means for wirelessly transmitting image information, receiving means for wirelessly receiving image information from the transmitting side, and display means for displaying an image of the image information received by the receiving means. apparatus.
【請求項5】 請求項1〜3のいずれかに記載の移動体
用処理装置と請求項4記載の移動体用処理装置とを備え
たことを特徴とする移動体用処理装置。
5. A processing apparatus for a mobile object, comprising the processing apparatus for a mobile object according to claim 1 and the processing apparatus for a mobile object according to claim 4.
【請求項6】 請求項5記載の移動体用処理装置を搭載
した複数の移動体を備え、移動体間で画像情報を送受す
ることを特徴とする移動体間通信システム。
6. A communication system between mobile units, comprising a plurality of mobile units equipped with the processing unit for mobile units according to claim 5, wherein image information is transmitted and received between the mobile units.
【請求項7】 請求項1〜5のいずれかに記載の移動体
用処理装置において、移動体は自動車であることを特徴
とする移動体用処理装置。
7. The processing apparatus for a mobile object according to claim 1, wherein the mobile object is an automobile.
【請求項8】 請求項6記載の移動体間通信システムに
おいて、移動体は自動車であることを特徴とする移動体
間通信システム。
8. The inter-mobile communication system according to claim 6, wherein the mobile is an automobile.
【請求項9】 請求項1〜5のいずれかに記載の移動体
用処理装置において、位置検出手段はGPSを有するこ
とを特徴とする移動体用処理装置。
9. The processing apparatus for a mobile object according to claim 1, wherein the position detecting means has a GPS.
【請求項10】 請求項6記載の移動体間通信システム
において、位置検出手段はGPSを有することを特徴と
する移動体間通信システム。
10. An inter-mobile communication system according to claim 6, wherein the position detecting means has a GPS.
【請求項11】 次の(1)〜(11)のステップを備
えたことを特徴とする通信方法。 (1)一方の移動体でその外部の風景を撮像するステッ
プ。 (2)前記一方の移動体でその位置を検出するステッ
プ。 (3)前記(1)のステップで撮像した画像の情報に、
前記(2)のステップで検出した位置の情報を付加する
ステップ。 (4)他方の移動体でその位置を検出するステップ。 (5)前記他方の移動体で前記(4)で検出した位置情
報にかかる画像情報のリクエストを生成するステップ。 (6)前記(5)で生成したリクエストを前記一方の移
動体へ送信するステップ。 (7)前記(6)で送信したリクエストを前記一方の移
動体で受信するステップ。 (8)前記(7)で受信したリクエストにかかる画像情
報を、前記(3)のステップで加工した画像情報から検
索するステップ。 (9)前記(8)で検索した画像情報を前記他方の移動
体へ送信するステップ。 (10)前記(9)で送信した画像情報を前記他方の移
動体で受信するステップ。 (11)前記(10)で受信した画像情報の画像を表示
するステップ。
11. A communication method comprising the following steps (1) to (11). (1) A step of capturing an external scenery with one moving object. (2) detecting the position of the one moving body; (3) In the information of the image captured in the step (1),
A step of adding information on the position detected in the step (2). (4) detecting the position of the other moving object; (5) A step of generating a request for image information relating to the position information detected in (4) by the other moving body. (6) transmitting the request generated in (5) to the one mobile unit; (7) receiving the request transmitted in (6) by the one mobile unit; (8) A step of searching for image information relating to the request received in (7) from the image information processed in step (3). (9) transmitting the image information retrieved in (8) to the other mobile unit; (10) a step of receiving the image information transmitted in (9) by the other moving object; (11) displaying an image of the image information received in (10).
【請求項12】 請求項11記載の通信方法を実現する
ためのプログラムを格納したことを特徴とする記憶媒
体。
12. A storage medium storing a program for realizing the communication method according to claim 11.
JP18241498A 1998-06-29 1998-06-29 Mobile communication system and communication device Expired - Fee Related JP3969852B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18241498A JP3969852B2 (en) 1998-06-29 1998-06-29 Mobile communication system and communication device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18241498A JP3969852B2 (en) 1998-06-29 1998-06-29 Mobile communication system and communication device

Publications (3)

Publication Number Publication Date
JP2000020884A true JP2000020884A (en) 2000-01-21
JP2000020884A5 JP2000020884A5 (en) 2005-10-20
JP3969852B2 JP3969852B2 (en) 2007-09-05

Family

ID=16117881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18241498A Expired - Fee Related JP3969852B2 (en) 1998-06-29 1998-06-29 Mobile communication system and communication device

Country Status (1)

Country Link
JP (1) JP3969852B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001091502A1 (en) * 2000-05-25 2001-11-29 Sony Corporation Data communication system and method, and mobile body apparatus
WO2005054783A1 (en) * 2003-12-05 2005-06-16 Matsushita Electric Industrial Co., Ltd. Navigation device
JP2006074778A (en) * 2004-08-31 2006-03-16 General Motors Corp <Gm> System and method of wireless vehicle to vehicle data sharing
JP2006107521A (en) * 2005-10-17 2006-04-20 Denso Corp Mobile communication equipment
EP1647448A3 (en) * 2004-10-13 2007-01-31 Robert Bosch Gmbh Method and apparatus for improving visibility of a driver in a vehicle
WO2007043524A1 (en) * 2005-10-13 2007-04-19 Pioneer Corporation Communication terminal, data transmitting method, data receiving method, data transmitting program, data receiving program, and recording medium
US7302321B2 (en) 2003-04-04 2007-11-27 Nissan Motor Co., Ltd. Information providing device, information providing system, and information providing program product
DE10356500B4 (en) * 2002-12-04 2011-06-22 Toyota Jidosha Kabushiki Kaisha, Aichi-ken Vehicle communication device
JP2013519089A (en) * 2010-02-02 2013-05-23 マイクロソフト コーポレーション Depth camera compatibility
DE102005017811B4 (en) * 2004-04-16 2016-02-18 Denso Corporation Driver assistance system

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001091502A1 (en) * 2000-05-25 2001-11-29 Sony Corporation Data communication system and method, and mobile body apparatus
US6615134B2 (en) 2000-05-25 2003-09-02 Sony Corporation Data communication system and method, and mobile body apparatus
DE10356500B4 (en) * 2002-12-04 2011-06-22 Toyota Jidosha Kabushiki Kaisha, Aichi-ken Vehicle communication device
DE10356500B8 (en) * 2002-12-04 2012-06-14 Toyota Jidosha Kabushiki Kaisha Vehicle communication device
US7302321B2 (en) 2003-04-04 2007-11-27 Nissan Motor Co., Ltd. Information providing device, information providing system, and information providing program product
WO2005054783A1 (en) * 2003-12-05 2005-06-16 Matsushita Electric Industrial Co., Ltd. Navigation device
DE102005017811B4 (en) * 2004-04-16 2016-02-18 Denso Corporation Driver assistance system
JP2006074778A (en) * 2004-08-31 2006-03-16 General Motors Corp <Gm> System and method of wireless vehicle to vehicle data sharing
EP1647448A3 (en) * 2004-10-13 2007-01-31 Robert Bosch Gmbh Method and apparatus for improving visibility of a driver in a vehicle
WO2007043524A1 (en) * 2005-10-13 2007-04-19 Pioneer Corporation Communication terminal, data transmitting method, data receiving method, data transmitting program, data receiving program, and recording medium
JP2006107521A (en) * 2005-10-17 2006-04-20 Denso Corp Mobile communication equipment
JP2013519089A (en) * 2010-02-02 2013-05-23 マイクロソフト コーポレーション Depth camera compatibility

Also Published As

Publication number Publication date
JP3969852B2 (en) 2007-09-05

Similar Documents

Publication Publication Date Title
US6314295B1 (en) Terminal unit, position display method, information providing system, and information providing method
JP3538907B2 (en) Broadcast wave receiver for mobile
KR100735463B1 (en) Location-based service method and system using location data included in image data
JP2003037514A (en) Digital broadcast receiver
CN1521484A (en) Apparatus and method for guiding location of the other party in navigation system
JP3969852B2 (en) Mobile communication system and communication device
JP2002094952A (en) Digital broadcast signal processing unit and digital broadcast signal transmission method
JP2797946B2 (en) Information display device
JPH08110231A (en) Navigation system
JP2003298507A (en) Mobile wireless terminal
JPH09163203A (en) Electronic camera system with transmitting function
JP3274975B2 (en) Car navigation system
JP2815458B2 (en) Vehicle destination guidance system
JPH11304500A (en) On-vehicle information processing equipment and automobile
JP2002171217A (en) On-vehicle electronic equipment, and video or/and audio reproducing method for the equipment
JP4714973B2 (en) Multifunctional navigation device
JP4559037B2 (en) Transmission / reception terminal device
JP3842640B2 (en) Navigation system and multiplexed information acquisition method
JP2003187386A (en) Vics information transmitter-receiver
JPH0869600A (en) Navigation device
KR100673889B1 (en) Apparatus and method for supplying an information of driving safety in a car audio visual system
JP2001165672A (en) Image information service device and image information service system using same device
JP2005231532A (en) Police vehicle provided with image recording device
JP2002247572A (en) Satellite broadcasting system and satellite broadcasting receiver
JP4640485B2 (en) Navigation device and control method thereof

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070605

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130615

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees