JP2003304529A - ネットワークシステム及び画像処理装置 - Google Patents

ネットワークシステム及び画像処理装置

Info

Publication number
JP2003304529A
JP2003304529A JP2002107051A JP2002107051A JP2003304529A JP 2003304529 A JP2003304529 A JP 2003304529A JP 2002107051 A JP2002107051 A JP 2002107051A JP 2002107051 A JP2002107051 A JP 2002107051A JP 2003304529 A JP2003304529 A JP 2003304529A
Authority
JP
Japan
Prior art keywords
image
image data
data
image processing
network system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002107051A
Other languages
English (en)
Inventor
Kenichi Hatanaka
健一 畑中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2002107051A priority Critical patent/JP2003304529A/ja
Publication of JP2003304529A publication Critical patent/JP2003304529A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 システムの拡張性を向上すると共に、画像処
理装置の画像処理の効率化を図る。 【解決手段】 ネットワークシステム10は、画像処理
ECU11及び各カメラ12〜17を通信ケーブルC1
〜C6で接続して構成する。画像処理ECU11は各カ
メラ12〜17に対して共用の接続インタフェースとデ
ータ変換手段を備えることで、新たなカメラの接続変更
等に対応すると共に構成品数を低減する。また、画像処
理ECU11は各カメラ12〜17の画像データを、各
カメラ12〜17に対応するテーブルに基づいて表示用
データに変換することで画像処理の効率化を実現する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、システムの拡張性
を向上すると共に、画像データの多様な表示形式に対応
し得るネットワークシステム及び画像処理装置に関する
ものである。
【0002】
【従来の技術】従来、車両の前部、後部等にCCDカメ
ラを設置すると共に、これら各CCDカメラを画像信号
ケーブルで車内に設置したモニタ装置へ接続し、CCD
カメラが撮像した画像を車内のモニタで確認できる画像
用システムが存在する。
【0003】図26は、従来の画像用システム1の一例
であり、CCDカメラである左後カメラ2A、右後カメ
ラ2B、前カメラ2Cを、インタフェース3A〜3Cを
介して画像処理装置4に夫々接続すると共に、各カメラ
2A〜2Cが撮像した画像データを表示するモニタ装置
5を画像処理装置4に接続している。
【0004】各カメラ2A〜2CはNTSCコンポジッ
ト等のアナログフォーマットで画像データを出力してお
り、これに対応してインタフェース3A〜3CはA/D
コンバート機能を有して、画像処理装置4で各カメラ2
A〜2Cが撮像した画像データをモニタ装置5用の表示
データに変換する処理を行う。なお、画像処理装置4
は、種々の表示形式に変換するLSI等の電子部品及び
フレームメモリ(図示せず)を表示形式の種類及び各カ
メラ2A〜2Cに応じて設けている。
【0005】また、表示形式の種類は、図27の表示デ
ータ6に示すように、左後カメラ2Aで撮像した画像デ
ータ6aと右後カメラ2Bで撮像した画像データ6bと
を並べて合成表示する形式、また、左右後カメラ2A、
2Bが撮像した画像データを鏡像反転させる形式等があ
る。
【0006】なお、上述した種類のシステムでは、カメ
ラと画像処理装置との接続に、画像信号ケーブルを用い
る以外に、近時ではLAN等のネットワーク用の通信ケ
ーブルを使用してネットワーク的に接続を行う場合もあ
る。
【0007】
【発明が解決しようとする課題】画像用システム1で
は、各カメラ2A〜2Cのアナログ画像データを各イン
タフェース3A〜3CでA/D変換する構成であるた
め、高価なA/Dコンバート機能を備えたインタフェー
ス3A〜3Cをカメラの台数分、画像処理装置4に設け
る必要があり、システムに係るコストを押し上げる問題
がある。また、画像処理装置4には、装備したインタフ
ェース3A〜3Cの数以上のカメラを新たに接続できな
いため、システムの拡張性に欠けると云う問題もある。
なお、画像処理装置4は、主に画像関係の機器を接続対
象としているため、他の種類の機器又は他のネットワー
クシステムとの接続に適用できない問題がある。
【0008】さらに、画像処理装置4は、種々の表示形
式及び各カメラ2A〜2Cに対応した変換処理用の電子
部品及びフレームメモリを多数設けているため画像処理
装置4自体のコストを押し上げると共に、多数の電子部
品の切換制御等が必要になりデータ変換処理が複雑にな
る問題がある。さらに、また、各カメラ2A〜2Cと画
像処理装置4との接続に低通信速度のLANケーブルを
用いた場合、各カメラ2A〜2Cから出力する画像デー
タをMPEG等の圧縮率の高い圧縮方式で圧縮したと
き、圧縮に係る処理に時間を要し、データ表示に関して
リアルタイム性を確保するのが困難になる問題がある。
【0009】本発明は、斯かる事情に鑑みてなされたも
のであり、画像処理装置と各カメラをネットワーク接続
すると共に、ネットワークに対する画像処理装置の接続
形態を改良することで、拡張性に優れたネットワークシ
ステム及び画像処理装置を提供することを目的とする。
また、本発明は、画像データをテーブルを用いて表示用
データに変換することで、画像処理装置の内部の電子部
品の共用化を図り低コスト化を実現したネットワークシ
ステム及び画像処理装置を提供することを目的とする。
【0010】さらに、本発明は、複数の変換処理を複合
したテーブルに基づいて変換処理を行うことにより、複
雑な変換処理を高速で行うネットワークシステムを提供
することを目的とする。
【0011】
【課題を解決するための手段】第1発明に係るネットワ
ークシステムは、撮像した画像データを送出する複数の
撮像装置と、該撮像装置から受け付けた画像データをモ
ニタ装置の表示用データに変換する処理を行う画像処理
装置とを接続してなるネットワークシステムにおいて、
前記画像処理装置は、前記各撮像装置が送出した複数の
画像データの受け付けに共用の受付手段と、該受付手段
が受け付けた複数の画像データに係る前記処理に共用の
データ変換手段とを備えることを特徴とする。
【0012】第1発明にあっては、画像処理装置の画像
データの受付手段を複数の撮像装置に対して共用化する
と共に、システムに含まれる撮像装置と画像処理装置と
をネットワーク接続することにより、従来のように撮像
装置の台数分のインタフェースを設ける必要がなくなり
画像処理装置のコストを低減できる。また、受付手段の
共用化を図ることで、新たな撮像装置の追加又は削除等
も容易に行うことができ、システム構成の自由度が増
し、撮像装置に対して種々の接続形態を実現できる。
【0013】さらに、複数の画像データを共用で受付可
能にすることで、複数の画像データの処理を行うデータ
変換手段も共用化でき、内部構成の簡易化を進めて効率
的な変換処理を実現できる。なお、ネットワークシステ
ムはIEEE1394等の同期通信可能な通信規格を適
用することが好ましく、この種の通信規格を用いること
で通信のリアルタイム性及び各種機器の接続自由度の確
保が容易になる。
【0014】第2発明に係るネットワークシステムは、
前記画像処理装置は更に、前記画像データの画素毎に対
応する変換情報を含むテーブルを記憶する記憶手段を備
え、前記データ変換手段は、前記記憶手段が記憶するテ
ーブルに基づいて、前記処理を行う手段を備えることを
特徴とする。
【0015】第2発明にあっては、変換処理にテーブル
を用いることで変換処理の方式を共通化でき、処理効率
も更に向上できる。また、前記テーブルは画像データの
画素毎に変換情報を含んでいるので、種々の表示形式に
容易に対応でき、画像データを所要の表示用データに変
換することができる。
【0016】第3発明に係るネットワークシステムは、
撮像した画像データを送出する撮像装置と、該撮像装置
から受け付けた画像データをモニタ装置の表示用データ
に変換する画像処理装置とを接続してなるネットワーク
システムにおいて、前記画像処理装置は、前記画像デー
タの画素毎に対応する変換情報を含むテーブルを記憶す
る記憶手段と、前記記憶手段が記憶するテーブルに基づ
いて、前記画像データを表示用データに変換するデータ
変換手段とを備えることを特徴とする。
【0017】第3発明にあっては、画像処理装置はテー
ブルに基づき、画像データを表示用データに変換するの
で、要求される種々の表示形態に対して変換処理の共通
化を図ることができ、画像処理装置の処理負担を軽減で
きると共に処理速度も向上できる。なお、画像処理装置
は、種々の表示形態に対し画像処理用のLSI及びフレ
ームメモリ等を共用して画像処理を行うことが好まし
く、このような構成にすることで、画像処理装置の低コ
スト化を一段と図ることができる。
【0018】第4発明に係るネットワークシステムは、
前記テーブルは、前記画像データを鏡像反転する鏡像反
転テーブル、複数の前記画像データを合成する合成テー
ブル、前記画像データの視点方向を変更する視点変更テ
ーブル、前記画像データを拡大又は縮小する拡大縮小テ
ーブル、又は、前記画像データに図を付加する図付加テ
ーブルのいずれか1つを備えることを特徴とする。
【0019】第4発明にあっては、変換用の各種テーブ
ルを揃えることで基本的な変換形式に対応でき、変換処
理を標準化して変換効率を向上できる。なお、前記各種
テーブルは、システムに含まれる撮像装置の種類等に応
じて必要な表示形式に対応するものを揃えることが必要
である。
【0020】第5発明に係るネットワークシステムは、
前記テーブルは、前記鏡像反転テーブル、合成テーブ
ル、視点変更テーブル、拡大縮小テーブル、又は、図付
加テーブルのいずれか2つ以上を複合した複合テーブル
を備えることを特徴とする。第5発明にあっては、各種
テーブルを複合して複合テーブルを形成すると共に、こ
の複合テーブルに基づき変換処理を行うことにより、複
数回の変換処理も一度の処理で行うことができ、複雑な
変換に対する処理速度の向上及び処理の効率化を実現で
きる。
【0021】第6発明に係るネットワークシステムは、
前記撮像装置は、撮像条件情報を送出する情報送出手段
を備え、前記画像処理装置は更に、前記情報送出手段が
送出した撮像条件情報を受け付ける情報受付手段と、該
情報受付手段が受け付けた撮像条件情報に基づいて、該
撮像条件情報の送出元の撮像装置に応じた前記テーブル
を作成するテーブル作成手段とを備えることを特徴とす
る。
【0022】第6発明にあっては、システムに新たな撮
像装置が追加された場合等に、新たな撮像装置が送出す
る撮像条件情報を元にして、画像処理装置が新たな撮像
装置用のテーブルを作成するので、新たな撮像装置をス
ムーズにシステムに導入できる。なお、このようなテー
ブルの作成は、新たな撮像装置の導入時以外にも、ネッ
トワークシステムの最初の起動時に、システムに含まれ
る撮像装置のテーブル作成に利用してもよい。
【0023】第7発明に係るネットワークシステムは、
前記記憶手段は、前記撮像装置に対応させて前記テーブ
ルを記憶しており、前記撮像装置は、自身の識別情報を
送出する識別情報送出手段を備え、前記画像処理装置は
更に、前記識別情報送出手段が送出した識別情報を受け
付ける識別情報受付手段と、該識別情報受付手段が受け
付けた識別情報に基づき、該識別情報の撮像装置に応じ
たテーブルを前記記憶手段から選択するテーブル選択手
段とを備えることを特徴とする。
【0024】第7発明にあっては、画像処理装置のテー
ブル選択手段が、撮像装置の識別情報に基づき記憶手段
から所要のテーブルを選択するので、各撮像装置に対し
て各種テーブルの中から該当するテーブルをスムーズに
選択でき、変換処理の効率化を維持できる。よって、大
規模なシステムで記憶手段が多数のテーブルを記憶して
いる場合でも、必要なテーブルの選択に手間取ることな
く迅速な変換処理を実現できる。
【0025】第8発明に係るネットワークシステムは、
前記画像処理装置は更に、外部のネットワークシステム
を接続することが可能な接続手段を備えることを特徴と
する。第8発明にあっては、画像処理装置が接続手段を
備えることで、外部の他のネットワークシステムとの接
続を可能にし、画像処理装置を複数のネットワーク同士
を接続するゲートウェイ装置としても使用でき、各ネッ
トワーク間での通信データの受け渡しを画像処理装置を
介してスムーズに行うことができる。また、単独でゲー
トウェイ装置を設ける必要が無くなり、システム全体に
係るコストを低減できる。
【0026】第9発明に係る画像処理装置は、外部から
受け付けた画像データを表示用データに変換する処理を
行う画像処理装置において、外部からの複数の前記画像
データの受け付けに共用の受付手段と、該受付手段が受
け付けた複数の画像データの変換に係る前記処理に共用
のデータ変換手段とを備えることを特徴とする。第9発
明にあっては、共用の受付手段及びデータ変換手段を備
えることで、従来の画像処理装置に比べて構成品を削減
でき、装置に係るコスト低減を達成できる。
【0027】第10発明に係る画像処理装置は、ネット
ワークへ接続することが可能であり、画像データを表示
用データに変換する画像処理装置において、前記ネット
ワークから画像データを受け付ける受付手段と、前記画
像データの画素毎に対応する変換情報を含むテーブルを
記憶する記憶手段と、該記憶手段が記憶するテーブルに
基づいて、前記画像データを表示用データに変換する手
段とを備えることを特徴とする。第10発明にあって
は、テーブルに基づき画像変換処理を行うので、画像処
理に係る負担を軽減でき、処理速度も向上できる。
【0028】第11発明に係る画像処理装置は、前記ネ
ットワークから前記画像データの撮像に係る撮像条件情
報を受け付ける情報受付手段と、該情報受付手段が受け
付けた撮像条件情報に基づいて、前記テーブルを作成す
るテーブル作成手段とを更に備えることを特徴とする。
第11発明にあっては、受け付けた撮像条件情報に基づ
いてテーブル作成手段が新たなテーブルを作成できるの
で、新たな撮像装置に対しても効率的な変換処理を行う
ことができる。
【0029】第12発明に係る画像処理装置は、複数の
ネットワークへ接続することが可能な接続手段を更に備
えることを特徴とする。第12発明にあっては、複数の
ネットワークへの接続を可能にする接続手段を設けるこ
とで、画像処理装置にゲートウェイ機能を具備させるこ
とができ、画像処理装置を含むネットワークシステムの
拡張性向上に貢献できる。
【0030】
【発明の実施の形態】以下、本発明をその実施の形態を
示す図面に基づいて説明する。図1は、本発明の実施形
態に係るネットワークシステム10の全体構成図であ
る。本実施形態のネットワークシステム10は車両に構
築してあり、車載LANの情報系LANを形成してい
る。ネットワークシステム10は、画像処理装置である
画像処理ECU(Electric Control
Unit)11に、複数の撮像装置である左後カメラ1
2、右後カメラ13、左前カメラ14、ブラインドコー
ナカメラ15、左斜後カメラ16、及び、赤外線カメラ
17を通信ケーブルC1〜C6で接続している。
【0031】ネットワークシステム10は、同期通信用
ネットワークのIEEE1394の規格に合致した構成
にしており、画像処理ECU11、左後カメラ12、右
後カメラ13、左前カメラ14、ブラインドコーナカメ
ラ15、左斜後カメラ16、及び、赤外線カメラ17は
IEEE1394に対応し、IEEE1394用の通信
ケーブルC1〜C7を接続するポート11a、11b〜
17a、17bを夫々設けている。
【0032】ネットワークシステム10は、IEEE1
394でシステムを構築することにより、各種データを
アイソクロナスパケット(同期パケット)で通信する。
アイソクロナスパケットは通信ケーブルC1〜C7に対
して特定のチャネル(帯域)が割り当てられ125μs
周期で時分割送信されることで、ネットワークシステム
10はデータ通信に対してリアルタイム性を確保してい
る。なお、ネットワークシステム10は、画像処理EC
U11と表示装置であるモニタ装置18とを信号線S1
で接続しており、この信号線S1でアナログRGB信号
又はモニタとビデオカード間のデジタル伝送等に係るデ
ジタル画像信号を伝送するようにしている。
【0033】また、車両には上述したネットワークシス
テム10による情報系LAN以外にも、ボディ系LAN
及び車体系LAN等が構築されており、これら各系統の
LAN同士をゲートウェイ装置で接続している。本実施
形態では、図1に示すように、ゲートウェイ装置20で
ネットワークシステム10とボディ系LAN19を接続
し、ボディ系LAN19で通信される各種信号をゲート
ウェイ装置20を介してネットワークシステム10に取
り込めるようにしている。
【0034】なお、ボディ系LAN19で通信される信
号には、ボディ系LAN19に含まれる信号入力部19
aが有する車両速度の検知信号、操舵時の検知信号、及
び、バックギアに入っている状態の検知信号等があり、
このような検知信号は信号入力部19aからゲートウェ
イ装置20を介してネットワークシステム10の画像処
理ECU11へ送信されるようにしている。
【0035】一方、ネットワークシステム10に含まれ
る各カメラ12〜17は、図2に示すような位置関係で
右ハンドルの車両21に取り付けられている。即ち、左
後カメラ12は車両21の後端で撮像方向を車両の真後
ろ方向に対して左へ向けて取り付けられ、右後カメラ1
3は撮像方向を右へ向けて取り付けられている。また、
左前カメラ14は車両21の左前端付近に取り付けられ
て、運転席から死角となる左前輪付近を撮像するように
している。
【0036】さらに、ブラインドコーナカメラ15は車
両21の前端中央に取り付けられており、左斜後カメラ
16は左ドアミラー付近に取り付けられて左斜後を撮像
できるようにしており、赤外線カメラ17はブラインド
コーナカメラ15の上方に取り付けられている。なお、
本実施形態では、各カメラ12〜17は、640(横)
×480(縦)の画素数から形成されるデジタル画像デ
ータを非圧縮で出力しており、図2中の各カメラ12〜
16に対する一点鎖線の範囲は撮像画角を示している。
【0037】また、各カメラ12〜17は、地面からの
取り付け高さ、撮像画角、撮像方向等に係る撮像条件情
報、及び、自身の識別情報を記憶するメモリ(図示せ
ず)を夫々備えている。各カメラ12〜17は、システ
ムの起動時、新たにシステムに接続された時、及び外部
からの要求時等に、記憶されている撮像条件情報を送出
する情報送出手段、及び、識別情報を送出する識別情報
送出手段を備えており、この識別情報送出手段は識別情
報を通信パケットの通信ヘッダに記載して送出するよう
にしている。
【0038】なお、図3(a)(b)に示すブラインド
コーナカメラ15は、撮像レンズ15aの前方に左右及
び前方下方の計三方向の画像を取り込むプリズム15b
を設けており、プリズム15bは左方向からの光線L
1、右方向からの光線L2、及び、前方下方からの光線
L3を撮像レンズ15aへ導いている。なお、本実施形
態のブラインドコーナカメラ15では、プリズム15b
の構成上、プリズム15bを通過した光線L3の画像の
みが反転する。
【0039】また、赤外線カメラ17は、車両21の前
方50〜100m付近に位置する光の反射が少ない対象
物を近赤外線により撮像するものであり、撮像した画像
データを画像処理ECU11へ出力している。
【0040】一方、画像処理ECU11は、各カメラ1
2〜17が撮像した画像データをモニタ装置18で表示
する表示用データに変換処理すると共に、変換した表示
用データをモニタ装置18へ出力するものである。図4
に示すように、画像処理ECU11は内部に、PHY/
LINKインタフェース25、マイコン26、画像処理
ASIC27、テーブルの記憶手段であるテーブル用メ
モリ28、フレームメモリ29、モニタインタフェース
50、及び、操作部51を設けている。
【0041】PHY/LINKインタフェース25はネ
ットワークの接続インタフェースであり、各カメラ12
〜17の画像データを受け付ける共用の受付手段として
機能し、システムの物理層に該当する。また、PHY/
LINKインタフェース25は、各カメラ12〜17の
撮像条件情報を受け付ける情報受付手段、及び、各カメ
ラ12〜17の識別情報を受け付ける識別情報受付手段
としても機能する。なお、PHY/LINKインタフェ
ース25は、各カメラ12〜17の画像データ等をアイ
ソクロナスパケット(同期パケット)として受け付けて
おり、複数の画像データを一括して受付可能にしてい
る。
【0042】マイコン26は、マイコン26内に記憶さ
れているプログラム、又は、操作部51の入力操作に従
い各種制御及び処理を行っている。マイコン26が行う
具体的な制御及び処理内容には、画像処理を行う通常モ
ードとテーブル更新等を行う管理モードとのモード切替
制御、テーブル作成手段としてのテーブル作成処理、テ
ーブル選択手段としてのテーブル選択処理、画像データ
等に応じた作図を行う作図処理等がある。
【0043】前記モード切替制御は、操作部51による
操作の内容に基づき、又は、カメラ等の新たな機器がネ
ットワークシステムに追加された時に新たな機器から送
出される未確認の識別情報の受付等を判断することで行
われる。即ち、操作部51による操作又は未確認の識別
情報等がある場合、マイコン26は管理モードを実行
し、前記操作等がない場合は通常モードを実行するよう
制御する。
【0044】テーブル作成処理は、前記管理モードで行
う処理であり、新たに追加された機器からの情報に基づ
き、当該機器に対応するテーブルをマイコン26が作成
する処理のことである。なお、新たに作成したテーブル
は当該機器との対応付けを行ってからテーブル用メモリ
28に記憶している。
【0045】また、テーブル選択処理は、接続されてい
るカメラ12〜17に対して予め作成した各種テーブル
を各カメラ12〜17及び表示形式に対応付けてからテ
ーブル用メモリ28に記憶させると共に、前記対応付け
に基づき所要のテーブルをテーブル用メモリ28から選
択して読み出す制御のことである。なお、各カメラ12
〜17とテーブルとの対応付けは、各カメラ12〜17
の識別情報とテーブルを夫々対応付けることで行ってい
る。また、選択しているテーブルの切換は、マイコン2
6が、後述する操作部51からの切換情報、ボディ系L
AN19からのバックギアの検知信号、及び、操舵時の
検知信号の受け付けを夫々確認することで行う。
【0046】さらに、作図処理は、受け付けた画像デー
タの内容及びボディ系LAN19から入力される車速の
検知信号、操舵に係る検知信号等を考慮して、例えば、
駐車する際に車両の進む方向を示すガイド線等をマイコ
ン26が演算して作図するものである。
【0047】画像処理ASIC27は、画像処理専用の
カスタムICであり、データ変換手段として各カメラ1
2〜17からの画像データをマイコン26が選択したテ
ーブルに基づいてアナログの表示用データに変換すると
共に、変換した表示用データをモニタインタフェース5
0へ伝送するものである。なお、画像処理ASIC27
は、各カメラ12〜17に対する複数種類の画像データ
に対して共用されており、画像処理ECU11の内部構
成の簡略化及びコスト低減に貢献している。
【0048】テーブル用メモリ28はEEPROM(E
lectrically Erasable PRO
M)であり、複数のテーブルを記憶すると共に、記憶し
ているテーブルの中からマイコン26の選択処理により
所要のテーブルを選択して画像処理ASIC27へ伝送
している。
【0049】また、フレームメモリ29は各カメラ12
〜17及び各表示形式に対して共用されており、オリジ
ナル画像記憶領域と変換画像記憶領域を有している。オ
リジナル画像記憶領域には各カメラ12〜17から出力
された画像データを1画面単位で一時的に記憶すると共
に、変換画像記憶領域には画像処理ASIC27で変換
された表示用データを1画面単位で記憶している。
【0050】なお、オリジナル画像記憶領域は、画像処
理ASIC27が同時処理可能なデータ量に対応した容
積を確保している。また、変換画像記憶領域は画像処理
ASIC27が変換した表示用データを随時記憶可能に
しており、1画面分の表示用データを蓄積した後、蓄積
した各表示用データをモニタインタフェース50へ順次
送出するようにしている。なお、変換画像記憶領域の一
部にはシステム起動時の初期画面データ等も記憶してい
る。
【0051】また、モニタインタフェース50はモニタ
装置18への接続用インタフェースであり、表示用デー
タをアナログ画像信号の形態でモニタ装置18へ出力す
る。なお、モニタインタフェース50は、アナログRG
B信号又はモニタ装置18との間でデジタル伝送等に係
るデジタル画像信号に対応して出力表示可能にしてもよ
い。
【0052】さらに、操作部51は、各種操作が可能な
スイッチ等を多数設けており(図示せず)、操作により
通常モードと管理モードの選択、モニタ装置18で表示
するデータに対応するカメラの切換、表示形式の切換等
を適宜設定するものであり、カメラの切換、及び、表示
形式の切換を設定した場合は、切換情報をマイコン26
へ出力する。
【0053】一方、上述したテーブルは、各カメラ12
〜17の画像データを表示用データに画像処理ASIC
27で変換する際に用いるものであり、変換形態に応じ
て複数のテーブルが存在する。基本的な種類のテーブル
には、元の画像データをそのまま表示する表示テーブ
ル、元の画像データを鏡像反転する鏡像反転テーブル、
元の画像データの視点方向を変更する視点変更テーブ
ル、複数の画像データを合成する合成テーブル、元の画
像データを拡大又は縮小する拡大縮小テーブル、元の画
像データに図を付加する図付加テーブル、及び、レンズ
歪み補正テーブル等がある。
【0054】前記視点変更テーブルには各カメラ12〜
17の車両21に対する取付状況等に応じた種類が存在
する。前記合成テーブルにも合成する画像データの数、
種類等に応じて複数種のテーブルが存在する。また、前
記拡大縮小テーブルには拡大縮小等の形態に応じた複数
の種類が存在し、さらに、前記図付加テーブルにも付加
する図の種類に応じて複数種類のテーブルが存在する。
【0055】さらに、テーブルには上述した基本的な種
類のテーブルを複合した複合テーブルも存在する。例え
ば、画像データに対して鏡像反転及び視点変更の2種類
の変換を行う場合、前記鏡像反転テーブル及び視点変更
テーブルを複合した複合テーブルを作成する。本実施形
態では、このような複合テーブルを上述した基本的なテ
ーブルを2つ以上組み合わせて形成できるパターン数
分、予め作成してテーブル用メモリ28に記憶してい
る。よって、このような複合テーブルに基づき画像処理
ASIC27で変換処理を行うことにより、複数種の変
換処理を一度の処理で行うことができ、画像変換処理の
高速化を実現している。
【0056】このような各種基本テーブル及び複合テー
ブルは、上述したようにマイコン26により適応される
カメラ12〜17との対応付けが行われており、以下、
代表的な対応付けの例を挙げる。
【0057】左後カメラ12及び右後カメラ13は、合
成テーブルと鏡像反転テーブルの複合テーブルと対応付
けられており、この複合テーブルに駐車時のガイド線を
示す図付加テーブルを複合したテーブルとも対応付けら
れている。また、前記合成及び鏡像反転の複合テーブル
に俯瞰方向からの視点変更を行う視点変更テーブルを複
合した複合テーブルも左後カメラ12及び右後カメラ1
3に対応付けられており、さらに、前記図付加テーブ
ル、合成テーブル、鏡像反転テーブル、及び、視点変更
テーブルの全てを複合したテーブルも対応付けされてい
る。
【0058】なお、左後カメラ12及び右後カメラ13
が鏡像反転機能を有する場合、前記各複合テーブルから
鏡像反転テーブルの機能を省略することが可能である。
【0059】左前カメラ14は、自身の画像データと、
ブラインドコーナカメラ15の前方下方の画像データ
と、左斜後カメラ16の画像データとを拡大縮小テーブ
ルにより夫々縮小すると共に合成テーブルでこれらのデ
ータを合成する処理を複合した複合テーブルと対応付け
されており、また、この複合テーブルに視点変更テーブ
ルを複合したテーブルにも対応付けされている。
【0060】ブラインドコーナカメラ15は、三方向の
各画像データをモニタ装置18の表示範囲に収まるよう
に縮小する拡大縮小テーブルと、これら縮小した各デー
タを合成する合成テーブルとを複合した複合テーブルに
対応付けされており、また、この複合テーブルに枠等の
図を付加する図付加テーブルを複合したテーブルにも対
応付けされている。
【0061】左斜後カメラ16は、自身の画像データに
道路の左端までの距離を示すガイド線の図を付加する図
付加テーブルと対応付けされており、この図付加テーブ
ルに俯瞰方向に視点を変更する視点変更テーブルを複合
した複合テーブルも対応付けされている。また、左斜後
カメラ16は、自身の画像データとブラインドコーナカ
メラ15の前方下方の画像データとを縮小する拡大縮小
テーブルに、変換した各データを合成する合成テーブル
を複合した複合テーブルと対応付けされている。さら
に、この複合テーブルに俯瞰方向に視点を変更する視点
変更テーブルを複合したテーブルも左斜後カメラ16に
対応付けている。
【0062】なお、上述した各カメラ12〜16は、画
像データをそのままの状態でモニタ装置18に合致した
表示用データに変換する表示テーブルに対応付けされて
おり、赤外線カメラ17は、この表示テーブルとの対応
付けのみとなる。
【0063】また、各テーブルの具体的な中身は、画像
データを形成する各画素毎に対応した変換情報を有する
ものになっている。図5は、画像データをそのまま状態
で表示する際に使用する表示テーブル30の中身であ
り、表示テーブル30は、モニタ装置18の表示解像度
に対応して640×480の変換情報を有しており、枠
30aの上辺30bの数値が横方向(X座標)のピクセ
ル(画素数)を示し、左辺30cの数値が縦方向(Y座
標)のピクセル(画素数)を示している。
【0064】また、枠30aの内部で横方向と縦方向の
ピクセルに対応して格子状に並ぶ変換情報は、画像デー
タの各画素を表示用データへ配置する場所を指定するも
のである。例えば、枠30aのX座標が0、Y座標が0
となる位置の変換情報(1、0、0)は、フレームメモ
リ29のオリジナル画像記憶領域に記憶してある1番目
の画像データにおけるX座標が0、Y座標が0の画素デ
ータを、変換先の表示用データの(X、Y)=(0、
0)の位置に配置すると云う意味である。
【0065】同様に表示テーブル30の(X、Y)=
(639、479)の変換情報(1、639、479)
は、1番目の画像データにおけるX座標が639、Y座
標が479の画素データを、変換先の表示用データの
(X、Y)=(639、479)の位置に配置すると云
う意味である。
【0066】結局、図5の表示テーブル30は、変換元
の画像データの各画素を、変換先の表示用データの同一
位置に配置することを指定する内容になっており、これ
により画像データはそのままの状態で表示用データに変
換される。
【0067】図6は、縦方向を2倍に拡大する拡大テー
ブル31の中身を示しており、拡大テーブル31は画像
データの上半分に対して横方向の各桁の画素を連続して
上下に2回重複配置して表示用データを形成する構成に
している。この拡大テーブル31に基づいて変換処理を
行うと、図7のオリジナルの画像データ32は、図8に
示すように、画像データ32の上半分を縦方向に2倍に
拡大した表示用データ33に変換される。このような拡
大テーブル31に基づく画像変換は画像データを詳細に
確認する場合等に好適である。
【0068】図9は、鏡像反転テーブル34の中身を示
しており、画像データの横方向の各画素を右から左へ逆
に配置して表示用データを形成する構成にしている。こ
の鏡像反転テーブル34に基づいて変換処理を行うと、
図7のオリジナルの画像データ32は、図10に示すよ
うに、鏡像反転された表示用データ35に変換される。
このような鏡像反転テーブル34は撮像方向が車両の後
方を向いている左後カメラ12、右後カメラ13等の撮
像画像を車内のモニタ装置18で確認する場合等に好適
である。
【0069】図11は、図付加テーブル36の一例の中
身を示しており、オリジナルの画像データに付加する図
の変換情報(0、x1、y1)、(0、x2、y2)等
を一部に含んでいる。図付加テーブル36の(X、Y)
=(1、0)における変換情報(0、x1、y1)の
「0」は、画像データではなく、図付加テーブル36の
変換情報のRGB値を表示用データの同位置に配置する
と云う意味であり、「x1、y1」は変換情報が規定す
るRGB値である。同様に、図付加テーブル36の
(X、Y)=(1、1)の変換情報(0、x2、y2)
は、表示用データの(X、Y)=(1、1)に「x2、
y2」というRGB値を配置する意味である。
【0070】このように、表示用データの所要位置のR
GB値を図付加テーブル36で直接指定することによ
り、RGB値で種々の作図を行うことができ、作図以外
の箇所はオリジナルの画像データの画素を残すように指
定することで、容易に画像データに図を付加した表示用
データを作成できる。
【0071】また、図付加テーブルには、上述したマイ
コン26の作図処理により現在の画像データ等に応じて
作成された図データを画像データに付加して表示用デー
タを作成することも可能になる。具体的には図12に示
すように、オリジナルの画像データ32に、縦方向及び
横方向の目盛を作図した図データ37を図付加テーブル
に基づき合成することで表示用データ39を形成でき
る。
【0072】さらに、図13は合成テーブルの一例とし
て、一の画像データの左半分と他の画像データの右半分
とを合成して表示用データを形成する合成テーブル40
の中身を示している。合成テーブル40は、横方向の0
から319までの範囲には1番目の画像データの左半分
の画素を配置し、残りの320から639までの範囲に
2番目の画像データの右半分の画素を配置するように規
定して表示用データを形成する。よって、図14に示す
ように、合成テーブル40に基づき1番目の画像データ
41及び2番目の画像データ42を合成する処理を行う
ことで、表示用データ43を得ることができる。
【0073】なお、合成テーブルには、前記以外にも種
々のパターンが存在し、図15(a)はブラインドコー
ナカメラ15用の合成テーブルに基づき形成した表示用
データ44であり、図15(b)は、ブラインドコーナ
カメラ15及び左斜後カメラ16用の合成テーブルに基
づき形成した表示用データ45である。
【0074】図15(a)の表示用データ44は、左上
表示部分44aに図3(a)(b)のブラインドコーナ
カメラ15が左方向から取り込んだ画像データを合成
し、右上表示部分44bに右方向から取り込んだ画像デ
ータを合成し、下表示部分44cに前方下方から取り込
んだ画像データを鏡像反転して合成する合成テーブルに
基づき形成している。
【0075】また、図15(b)の表示用データ45
は、車両21を中心とした俯瞰的な図を表示する図デー
タを元に、左上表示部分45aにブラインドコーナカメ
ラ15が左方向から取り込んだ画像データを合成し、右
上表示部分45bに右方向から取り込んだ画像データを
合成し、左下表示部分45cに左斜後カメラ16が取り
込んだ画像データを合成する合成テーブルに基づき形成
されている。
【0076】さらに、図15(c)の表示用データ46
は、視点変更テーブルに基づき図7の画像データ32を
俯瞰的に視点を変更して作成したものである。即ち、画
像データ32を撮像したカメラの地面からの取付高さ、
焦点距離、撮像方向と水平方向との角度等を考慮して視
点を俯瞰的に変換する変換情報を決定して視点変更テー
ブルを作成し、この視点変更テーブルに基づき変換処理
を行うことで表示用データ46を得ることができる。
【0077】なお、複合テーブルの中身は、複合する各
テーブル同士の各位置に対する変換情報の和又は積を算
出し、この算出結果の内容を該当する位置の変換情報に
している。
【0078】次に、上述した各種テーブルによる変換処
理を含むネットワークシステム10の全体的な処理の流
れを図16〜19の第1〜4フローチャートに基づいて
説明する。先ず、図16の第1フローチャートに示すよ
うに、図1の画像処理ECU11、各カメラ12〜1
7、及び、モニタ装置18の各電源スイッチをオンする
ことでネットワークシステム10を起動する(S1)。
このシステム起動により、各カメラ12〜17は自身の
識別情報等を画像処理ECU11へ送出し、画像処理E
CU11のマイコン26(図4参照、以下同様)は、こ
れら識別情報の確認を行い、システムに接続してある構
成機器に変更があるか否かを判断する(S2)。
【0079】構成機器に変更がない場合は、マイコン2
6は画像処理ECU11の操作部51の操作により管理
モードが選択されているか否かを確認する(S3)。管
理モードが選択されていない場合は、通常モードが選択
されていることになるので、以降、ネットワークシステ
ム10は、図17、18の第2、3フローチャートに示
す一連の処理を行う。一方、構成機器に変更がある場合
(S2)及び管理モードが選択されている場合(S
3)、ネットワークシステム10は、図19の第4フロ
ーチャートに示す処理を行う。
【0080】通常モードが選択されている場合、図17
の第2フローチャートに示すように、マイコン26は初
期画面データ(グラフィック画面又は黒画面を表示する
データ)をモニタインタフェース50からモニタ装置1
8へ出力し初期画面を表示する(S10)。この状態
で、マイコン26は各カメラ12〜17より通信ケーブ
ルC1を介してPHY/LINKインタフェース25に
画像データの受付があるか否かを確認している(S1
1)。
【0081】画像データの受付がない場合は、画像デー
タの受付があるまで受付待ちのループ状態になる。画像
データの受付がある場合、マイコン26は、受付される
画像データをフレームメモリ29のオリジナル画像記憶
領域に1画面単位で順次記憶すると共に、受付された画
像データに係る通信パケットの通信ヘッダの識別情報を
確認する(S12)。
【0082】この確認により、マイコン26は入力され
た画像データの送信元のカメラを特定し、特定したカメ
ラに応じたテーブルを、テーブル用メモリ28から選択
する(S13)。なお、この際、操作部51でモニタ装
置18での表示用データの表示形式も選択されている場
合は、特定したカメラに応じたテーブルの中で、選択さ
れている表示形式に該当するテーブルを選択する。
【0083】この選択されたテーブルに基づき、画像処
理ASIC27は、フレームメモリ29に記憶されてい
る画像データを表示用データへ変換する(S14)。変
換された表示用データは、フレームメモリ29の変換画
像記憶領域に1画面単位で記憶された後、モニタインタ
フェース50を介してモニタ装置18へストリーム伝送
され、モニタ装置18で表示される(S15)。これ以
降は、随時、受け付けられた画像データを随時、表示用
データに変換し、モニタ装置18で表示用データを表示
するデータ表示中の状態になる。
【0084】なお、操作部51で複数の画像データを合
成するような表示形式が選択されている場合は、複数の
画像データに対して上述した画像データの入力の有無の
確認(S11)から画像データを表示用データへ変換す
る段階(S14)の処理が並行して行われる。
【0085】また、図18の第3フローチャートに示す
ように、データ表示中もマイコン26は、操作部51の
操作による切換信号又はボディ系LAN19から検知信
号の受付があるか否かを確認している(S16)。
【0086】切換信号と検知信号のいずれの受付もない
場合、マイコン26は次に画像データの受付が継続中か
を確認する(S17)。継続中の場合は切換信号又は検
知信号の受付待ちでループ状態になり、継続中でない場
合は画像データの受付待ち状態になる(S18)。
【0087】また、切換信号又は検知信号のいずれかの
受付がある場合、画像処理ASIC27の変換処理を一
時中止して、最後に変換処理された表示用データの出力
を保持し最後の表示画面の表示状態を維持する(S1
9)。この間に、マイコン26は、切換信号又は検知信
号に対応するカメラの識別情報を確認する(S20)。
この確認により切換対象のカメラを特定し、この特定し
たカメラ、及び、切換信号等の内容を参照して新たなテ
ーブルをテーブル用メモリ28から選択する(S2
1)。
【0088】画像処理ASIC27は、この新たに選択
されたテーブルに基づき、受付された画像データを新た
な表示用データへ変換し(S22)、変換した表示用デ
ータをモニタ装置18へストリーム伝送してモニタ装置
18で表示する(S23)。なお、上述した通常モード
の処理(S10〜S23)は、システムの処理が終了す
るまで継続して行われる。
【0089】一方、図16の第1フローチャートで管理
モードになった場合は、図19の第4フローチャートに
示す処理が行われる。即ち、新たに接続されたカメラ又
は設定が変更されたカメラから送出された画像データの
撮像に係る撮像条件情報に基づき、マイコン26が新た
なテーブルを作成する(S30)。なお、マイコン26
は、撮像条件情報の内容、及び、当該カメラが対応可能
な画像処理の種類(鏡像反転、合成、視点変更、寸法変
更、図付加、及び、これらの複合可能パターン)等を考
慮して必要なテーブルを作成する。
【0090】作成したテーブルはテーブル用メモリ28
に記憶され(S31)。この記憶の際、マイコン26は
作成したテーブルと当該カメラの識別情報の対応付けも
作成し、この対応付けを自身のRAM等に記憶する(S
32)。このように対応付けを記憶することで、画像デ
ータの受付に応じて所要のテーブルをテーブル用メモリ
28からスムーズに選択して読み出せるようにしてい
る。
【0091】次にマイコン26は、別の撮像条件情報の
受付があるか否かを確認する(S33)。別の撮像条件
情報の受付がある場合は、テーブル作成の段階(S3
0)に戻り、上述した処理(S30〜S32)を再度行
う。また、別の撮像条件情報の受付がない場合は管理モ
ードを終了し、通常モードに戻る処理となる。
【0092】上述したように本発明に係るネットワーク
システム10は、画像処理ECU11に各カメラ12〜
17をネットワークの形態で接続する構成なので、画像
処理ECU11は共用のPHY/LINKインタフェー
ス25により各カメラ12〜17の複数の画像データを
受け付けることができ、従来のシステムに比べてインタ
フェースの構成を簡易化すると共にコストも低減してい
る。
【0093】また、ネットワークシステム10は、複数
の画像データに共用の画像処理ECU11でテーブルに
基づき変換処理を行うので、画像処理ECU11の処理
負担を軽減してスムーズ且つ確実にデータの変更を行っ
ている。特に、複数種類の変換処理を行う場合でも、複
合テーブルを用いることにより1回の変換処理で所要の
表示用データを作成でき、変換処理の高速化を実現して
いる。
【0094】なお、ネットワークシステム10は、上述
した形態に限定されるものではなく、種々の変形例が可
能である。例えば、図1に示すカメラ12〜17を全て
システムに含める必要はなく、最低いずれか1台のカメ
ラをシステムに含ませることでシステム構築が可能にな
る。また、図1のカメラ12〜17以外のカメラを追加
することも可能であり、この場合は、赤外線カメラ17
の未接続の接続ポート17bに追加カメラを接続するこ
とで容易にシステムを拡張できる。
【0095】また、図20に示すように、車両21の後
端には1台の後方カメラ50のみを取り付けるようにし
てもよい。この場合、後方カメラ50は画角の広いレン
ズを用いると共にレンズの光軸を真後ろにして、1台の
後方カメラ50で車両21の後方を撮像できるようにす
る。また、この後方カメラ50に対応付けされるテーブ
ルには、鏡像反転テーブル、鏡像反転テーブル及び図付
加テーブルの複合テーブル等があり、後方カメラ50自
体が鏡像反転機能を有する場合は、図付加テーブルのみ
も対象となる。
【0096】さらに、ブラインドコーナカメラ15は、
図3に示す3方向の画像を取り込むタイプ以外に、前方
真下の画像の取込を省略した左右2方向の画像を取り込
むタイプも適用できる。この左右2方向タイプのブライ
ンドコーナカメラには、左右の画像を拡大縮小する拡大
縮小テーブルと変更したデータを合成する合成テーブル
との複合テーブル、また、この複合テーブルに図付加テ
ーブルを複合したテーブル等を対応付けることができ
る。
【0097】また、図21に示すように、モニタ装置5
8はネットワーク接続タイプのものを適用して、画像処
理ECU11′及び左後カメラ12との間に通信ケーブ
ルC8及びC1を介して接続してもよい。この場合、画
像処理ECU11′は、図4に示す画像処理ECU11
のモニタインタフェース50を省略可能であり、変換し
た表示用データをPHY/LINKインタフェース25
を介してモニタ装置58へ向けて送り出すようにマイコ
ン26が制御している。
【0098】さらに、各カメラ12〜17が出力する画
像データは非圧縮又は圧縮のいずれを適用することも可
能である。非圧縮で画像データを出力する場合、各カメ
ラ12〜17から画像処理ECU11へ送信される画像
データを、IIDC Digital Camera
Specificationに基づく非圧縮RGBデー
タ又は非圧縮YUVデータにしてもよい。
【0099】また、圧縮で画像データを出力する場合、
各カメラ12〜17で画像データをDV(Digita
l Video)圧縮すると共に、各カメラ12〜17
と画像処理ECU11との間でAV/Cプロトコル(I
EC−61883)に基づきDV圧縮画像データを送信
するようにしてもよい。この場合、画像処理ECU11
内のPHY/LINKインタフェース25にDVコーデ
ック用の画像処理回路を組み込むか、又は、DVコーデ
ック用LSIを別体で画像処理ECU11内に設けるよ
うにする。
【0100】なお、本発明に係る画像処理用のネットワ
ークシステム10は、車両だけでなく建物の監視用のシ
ステム等の多数の撮像装置を含むシステムに適用するこ
とが可能である。また、本発明に係るネットワークシス
テム10は、処理対象となる画像データの送出元を各カ
メラ12〜17以外の機器にすることも可能である。例
えば、ネットワークシステム10が、画像データを送出
できるナビゲーション装置、パソコン、DVDプレーヤ
等を含んでいる場合、これらの機器の画像データも上述
した各種テーブルにより画像処理を行うことができ、ナ
ビゲーション装置の画像データとパソコン画像の合成、
ナビゲーション装置の画像データと各カメラが撮像した
画像データの合成等を実現できる。
【0101】一方、本発明に係る画像処理装置にゲート
ウェイ機能を具備させて、複数のネットワーク同士を接
続すると共に、ネットワーク間でのデータの受け渡しを
画像処理装置で行えるようにしてもよい。
【0102】図22は、情報系LANに相当するネット
ワークシステム70が含むゲートウェイ機能付きの画像
処理ECU60に、外部の他の相異する系統のネットワ
ークシステムであるボディ系LAN75を接続した構成
を示している。ネットワークシステム70自体の接続構
成は、図1に示すネットワークシステム10と同様であ
り、通信ケーブルC10等で左後カメラ71等を画像処
理ECU60に接続すると共に、信号線S10でモニタ
装置72を画像処理ECU60に接続している。また、
ボディ系LAN75は、車両速度の検知信号、操舵時の
検知信号、及び、バックギアに入っている状態の検知信
号等の各種検知信号が入力される信号入力部76等を備
えている。
【0103】図23は、ゲートウェイ機能付きの画像処
理装置60の内部構成を示しており、図4に示す画像処
理ECU11の内部構成に、他のネットワーク接続用の
接続手段を組み合わせた構成にしている。即ち、画像処
理ECU60は、画像処理ECU11が含む第1PHY
/LINKインタフェース62、マイコン63、画像処
理ASIC64、テーブル用メモリ65、フレームメモ
リ66、モニタインタフェース67、及び、操作部68
に、接続手段として第2PHY/LINKインタフェー
ス61及び中継処理ASIC69を組み合わせた構成に
している。
【0104】第2PHY/LINKインタフェース61
は、ボディ系LAN75に対する接続インタフェースで
あり、ボディ系LAN75の各種信号及びデータ等を通
信パケットの状態で受け付けるものである。
【0105】また、中継処理ASIC69は中継処理専
用のカスタムICであり、第1PHY/LINKインタ
フェース62と第2PHY/LINKインタフェース6
1との間で第2PHY/LINKインタフェース61側
にマイコン63を介して接続され、両方のLANの各種
データ及び情報の受付及び転送先の切換制御等を行って
いる。
【0106】即ち、中継処理ASIC69は通信パケッ
トのヘッダ情報を認識することで、受け付けたデータ及
び情報の種類を選別し、モニタ装置72へ表示する種類
のデータは画像処理ASIC64へ転送し、表示用以外
のデータ及び情報はマイコン63へ転送し、両方のLA
N間の各種データ等の選別転送制御を行っている。
【0107】なお、マイコン63は、図4の画像処理E
CU11のマイコン26と同様に、第2PHY/LIN
Kインタフェース61で受け付けたボディ系LAN75
からのバックギアの検知信号、及び、操舵時の検知信号
等の内容を解析し、この解析に基づいて画像処理ASI
C64に所要の制御コマンドを送信し、モニタ装置72
で表示する内容等を適宜切り替えるようにしている。
【0108】このようにネットワークシステム70は画
像処理ECU60がゲートウェイ機能を具備すること
で、ゲートウェイ装置を単独で設けることなくボディ系
LAN75を接続可能にして、ネットワークシステム7
0の拡張性を向上すると共に、複数のネットワーク全体
に係るコストを低減している。
【0109】また、ゲートウェイ機能付きの画像処理E
CUの別の形態として、図24に示すゲートウェイ機能
付きの画像処理ECU80は通信速度の相異する複数の
情報系LAN同士を接続することを可能にしている。即
ち、IEEE1394の高速情報系LANに相当するネ
ットワークシステム90に含まれるゲートウェイ機能付
きの画像処理ECU80は、ループ型の中速情報系LA
N95を接続し、中速情報系LAN95とネットワーク
システム90との各種データ及び情報を相互通信してい
る。
【0110】なお、中速情報系LAN95はDVDプレ
ーヤ96、オーディオ装置97、及び、DTVチューナ
98を含んでおり、これらの機器に係る画像、音楽等の
各種データをネットワークシステム90に比べて遅い速
度で通信している。
【0111】図25に示すように、画像処理ECU80
は、図23の画像処理ECU60と同様に、第1PHY
/LINKインタフェース82、マイコン83、画像処
理ASIC84、テーブル用メモリ85、フレームメモ
リ86、モニタインタフェース87、及び、操作部88
に、接続手段として第2PHY/LINKインタフェー
ス81及び中継処理ASIC89を組み合わせた構成に
しており、画像処理ECU60との相異点はマイコン8
3の接続形態である。
【0112】即ち、画像処理ECU80では、同系統の
情報系LAN同士を接続することに対応させて、第1P
HY/LINKインタフェース82と第2PHY/LI
NKインタフェース81との間には中継処理ASIC8
9のみを接続し、マイコン83は中継処理ASIC89
の下方で接続されている。
【0113】中継処理ASIC89は通信パケットのヘ
ッダ情報を判別することで、モニタ装置92へ出力する
画像データと、いずれかのLANへ転送するデータとを
選定し、選定したデータをデータ内容に応じた所要のI
Cチップ等に出力している。また、中速情報系LAN9
5からの画像、音楽等のストリームデータは、中継処理
ASIC89で直接、所要の出力先へ転送を行い、コマ
ンド等に係るデータは中継処理ASIC89からマイコ
ン83へ出力し、マイコン83でコマンド等に係るデー
タをフォーマット変換等の処理を行って所要の出力先へ
転送している。
【0114】このようにネットワークシステム90は画
像処理ECU80が同系統のLAN同士を接続できるゲ
ートウェイ機能の構成を具備することで、各種データを
両方のLANで有効に活用可能にすると共に、ネットワ
ークシステム90の拡張性も向上している。なお、ネッ
トワークシステム90又は中速情報系LAN95で通信
データがDV圧縮、MPEG圧縮される場合は、中継処
理ASIC89で圧縮形式の変換を行う手段を設けるよ
うにしてもよい。
【0115】
【発明の効果】以上に詳述した如く、第1発明及び第9
発明にあっては、複数の画像データに対してインタフェ
ース及びデータ変換手段を共用化して画像処理装置をネ
ットワーク対応にすることで、画像処理装置に係るコス
トを低減できると共に、新たな機器の追加変更にも容易
に対応可能にしてシステムの拡張性を向上でき、データ
送受のリアルタイム性も確保できる。
【0116】第2発明、第3発明及び第10発明にあっ
ては、変換処理にテーブルを用いることで変換処理の方
式を共通化して処理効率も向上できると共に、種々の表
示形式にも容易に対応できる。第4発明にあっては、変
換用の各種テーブルを揃えることで基本的な変換形式に
係る処理を標準化して変換処理の効率化を一段と向上で
きる。第5発明にあっては、各種テーブルを複合して複
合テーブルを形成し、この複合テーブルに基づき変換処
理を行うことにより、複数回の変換処理も一度の処理で
済ますことができ、複雑な変換に対して高速処理を実現
できる。
【0117】第6発明及び第11発明にあっては、撮像
条件情報を元に新たなテーブルを作成することが可能な
ので、新たな撮像装置等の機器を追加する場合でも変換
用のテーブルを作成してスムーズに新たな機器をシステ
ムに導入できる。第7発明にあっては、テーブル選択手
段が、撮像装置の識別情報に基づき記憶手段から所要の
テーブルを選択するので、各撮像装置に対応するテーブ
ルを各種テーブルの中から容易に選択でき、迅速な変換
処理の維持に貢献できる。第8発明及び第12発明にあ
っては、画像処理装置に接続手段を設けることで、画像
処理装置を複数のネットワーク同士を接続するゲートウ
ェイ装置としても使用でき、独立したゲートウェイ装置
を廃止してシステム全体に係るコストを低減できる。
【図面の簡単な説明】
【図1】本発明の実施形態に係るネットワークシステム
の全体構成図である。
【図2】各カメラの車両への取付位置を示す概略平面図
である。
【図3】ブラインドコーナカメラの概略構成を示してお
り、(a)は平面図、(b)は側面図である。
【図4】画像処理ECUの内部構成図である。
【図5】表示テーブルの中身を示す図である。
【図6】拡大テーブルの一例の中身を示す図である。
【図7】オリジナルの画像データの図である。
【図8】縦方向に2倍に拡大された表示用データの図で
ある。
【図9】鏡像反転テーブルの中身を示す図である。
【図10】鏡像反転された表示用データの図である。
【図11】図付加テーブルの一例の中身を示す図であ
る。
【図12】オリジナルの画像データに図データを付加し
て表示用データを作成する過程を示す図である。
【図13】合成テーブルの一例の中身を示す図である。
【図14】2つの画像データを合成して表示用データを
作成する過程を示す図である。
【図15】(a)はブラインドコーナカメラによる3方
向の画像を合成した表示用データの図であり、(b)
は、3つの画像データを合成すると共に図データを付加
した表示用データであり、(c)は俯瞰方向の視点変更
テーブルにより画像データを変換した表示用データの図
である。
【図16】モード選択に係る第1フローチャートであ
る。
【図17】通常モードに係る第2フローチャートであ
る。
【図18】通常モードにおける表示画面の切換に係る第
3フローチャートである。
【図19】管理モードに係る第4フローチャートであ
る。
【図20】後方カメラの車両への取付位置を示す概略平
面図である。
【図21】ネットワーク接続タイプのモニタ装置を適用
した場合のネットワークシステムの要部構成図である。
【図22】ゲートウェイ機能付き画像処理ECUによる
複数のLAN同士の接続を示す要部構成図である。
【図23】ゲートウェイ機能付き画像処理ECUの内部
構成図である。
【図24】他のゲートウェイ機能付き画像処理ECUに
よる複数のLAN同士の接続を示す要部構成図である。
【図25】他のゲートウェイ機能付き画像処理ECUの
内部構成図である。
【図26】従来のネットワークシステムの全体構成図で
ある。
【図27】従来のネットワークシステムにおけるモニタ
装置の表示画面の一例である。
【符号の説明】
10 ネットワークシステム 11 画像処理ECU 12 左後カメラ 13 右後カメラ 14 左前カメラ 15 ブラインドコーナカメラ 16 左斜後カメラ 17 赤外線カメラ 25 PHY/LINKインタフェース 26 マイコン 27 画像処理ASIC 28 テーブル用メモリ 31 拡大テーブル 34 鏡像反転テーブル 36 図付加テーブル 40 合成テーブル
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 1/387 H04N 1/387 1/393 1/393 Fターム(参考) 5B057 AA16 AA19 CA12 CA16 CB12 CB16 CC01 CD02 CD03 CD05 CE08 CH08 5C054 CA04 CC03 CD03 EA01 EA03 EA05 FC11 FD03 FE18 HA30 5C076 AA14 AA21 AA22 AA24 BA06

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 撮像した画像データを送出する複数の撮
    像装置と、該撮像装置から受け付けた画像データをモニ
    タ装置の表示用データに変換する処理を行う画像処理装
    置とを接続してなるネットワークシステムにおいて、 前記画像処理装置は、 前記各撮像装置が送出した複数の画像データの受け付け
    に共用の受付手段と、 該受付手段が受け付けた複数の画像データの変換に係る
    前記処理に共用のデータ変換手段とを備えることを特徴
    とするネットワークシステム。
  2. 【請求項2】 前記画像処理装置は更に、 前記画像データの画素毎に対応する変換情報を含むテー
    ブルを記憶する記憶手段を備え、 前記データ変換手段は、 前記記憶手段が記憶するテーブルに基づいて、前記処理
    を行う手段を備える請求項1に記載のネットワークシス
    テム。
  3. 【請求項3】 撮像した画像データを送出する撮像装置
    と、該撮像装置から受け付けた画像データをモニタ装置
    の表示用データに変換する画像処理装置とを接続してな
    るネットワークシステムにおいて、 前記画像処理装置は、 前記画像データの画素毎に対応する変換情報を含むテー
    ブルを記憶する記憶手段と、 前記記憶手段が記憶するテーブルに基づいて、前記画像
    データを表示用データに変換するデータ変換手段とを備
    えることを特徴とするネットワークシステム。
  4. 【請求項4】 前記テーブルは、 前記画像データを鏡像反転する鏡像反転テーブル、複数
    の前記画像データを合成する合成テーブル、前記画像デ
    ータの視点方向を変更する視点変更テーブル、前記画像
    データを拡大又は縮小する拡大縮小テーブル、又は、前
    記画像データに図を付加する図付加テーブルのいずれか
    1つを備える請求項2又は請求項3に記載のネットワー
    クシステム。
  5. 【請求項5】 前記テーブルは、 前記鏡像反転テーブル、合成テーブル、視点変更テーブ
    ル、拡大縮小テーブル、又は、図付加テーブルのいずれ
    か2つ以上を複合した複合テーブルを備える請求項4に
    記載のネットワークシステム。
  6. 【請求項6】 前記撮像装置は、 撮像条件情報を送出する情報送出手段を備え、 前記画像処理装置は更に、 前記情報送出手段が送出した撮像条件情報を受け付ける
    情報受付手段と、 該情報受付手段が受け付けた撮像条件情報に基づいて、
    該撮像条件情報の送出元の撮像装置に応じた前記テーブ
    ルを作成するテーブル作成手段とを備える請求項2乃至
    請求項5のいずれかに記載のネットワークシステム。
  7. 【請求項7】 前記記憶手段は、前記撮像装置に対応さ
    せて前記テーブルを記憶しており、 前記撮像装置は、 自身の識別情報を送出する識別情報送出手段を備え、 前記画像処理装置は更に、 前記識別情報送出手段が送出した識別情報を受け付ける
    識別情報受付手段と、 該識別情報受付手段が受け付けた識別情報に基づき、該
    識別情報の撮像装置に応じたテーブルを前記記憶手段か
    ら選択するテーブル選択手段とを備える請求項2乃至請
    求項6のいずれかに記載のネットワークシステム。
  8. 【請求項8】 前記画像処理装置は更に、 外部のネットワークシステムを接続することが可能な接
    続手段を備える請求項1乃至請求項7のいずれかに記載
    のネットワークシステム。
  9. 【請求項9】 外部から受け付けた画像データを表示用
    データに変換する処理を行う画像処理装置において、 外部からの複数の前記画像データの受け付けに共用の受
    付手段と、 該受付手段が受け付けた複数の画像データの変換に係る
    前記処理に共用のデータ変換手段とを備えることを特徴
    とする画像処理装置。
  10. 【請求項10】 ネットワークへ接続することが可能で
    あり、画像データを表示用データに変換する画像処理装
    置において、 前記ネットワークから画像データを受け付ける受付手段
    と、 前記画像データの画素毎に対応する変換情報を含むテー
    ブルを記憶する記憶手段と、 該記憶手段が記憶するテーブルに基づいて、前記画像デ
    ータを表示用データに変換する手段とを備える画像処理
    装置。
  11. 【請求項11】 前記ネットワークから前記画像データ
    の撮像に係る撮像条件情報を受け付ける情報受付手段
    と、 該情報受付手段が受け付けた撮像条件情報に基づいて、
    前記テーブルを作成するテーブル作成手段とを更に備え
    る請求項10に記載の画像処理装置。
  12. 【請求項12】 複数のネットワークへ接続することが
    可能な接続手段を更に備える請求項9乃至請求項11の
    いずれかに記載の画像処理装置。
JP2002107051A 2002-04-09 2002-04-09 ネットワークシステム及び画像処理装置 Pending JP2003304529A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002107051A JP2003304529A (ja) 2002-04-09 2002-04-09 ネットワークシステム及び画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002107051A JP2003304529A (ja) 2002-04-09 2002-04-09 ネットワークシステム及び画像処理装置

Publications (1)

Publication Number Publication Date
JP2003304529A true JP2003304529A (ja) 2003-10-24

Family

ID=29391192

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002107051A Pending JP2003304529A (ja) 2002-04-09 2002-04-09 ネットワークシステム及び画像処理装置

Country Status (1)

Country Link
JP (1) JP2003304529A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006203817A (ja) * 2005-01-24 2006-08-03 Nippon Soken Inc マルチカメラシステム
JP2006321419A (ja) * 2005-05-20 2006-11-30 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP2007067714A (ja) * 2005-08-30 2007-03-15 Sony Corp 画像処理回路およびこれを用いたカメラ装置と車載カメラ装置
JP2007108159A (ja) * 2005-09-15 2007-04-26 Auto Network Gijutsu Kenkyusho:Kk 運転支援装置
WO2009069260A1 (ja) * 2007-11-26 2009-06-04 Sanyo Electric Co., Ltd. 無線通信システムおよび無線装置
WO2018088061A1 (ja) * 2016-11-08 2018-05-17 ソニー株式会社 画像転送装置、画像転送方法、プログラム、動画像生成システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006203817A (ja) * 2005-01-24 2006-08-03 Nippon Soken Inc マルチカメラシステム
JP2006321419A (ja) * 2005-05-20 2006-11-30 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP2007067714A (ja) * 2005-08-30 2007-03-15 Sony Corp 画像処理回路およびこれを用いたカメラ装置と車載カメラ装置
JP2007108159A (ja) * 2005-09-15 2007-04-26 Auto Network Gijutsu Kenkyusho:Kk 運転支援装置
WO2009069260A1 (ja) * 2007-11-26 2009-06-04 Sanyo Electric Co., Ltd. 無線通信システムおよび無線装置
WO2018088061A1 (ja) * 2016-11-08 2018-05-17 ソニー株式会社 画像転送装置、画像転送方法、プログラム、動画像生成システム
JPWO2018088061A1 (ja) * 2016-11-08 2019-09-26 ソニー株式会社 画像転送装置、画像転送方法、プログラム、動画像生成システム
US10834315B2 (en) 2016-11-08 2020-11-10 Sony Corporation Image transfer apparatus and moving image generating system for transferring moving image data

Similar Documents

Publication Publication Date Title
JP3269056B2 (ja) 監視システム
US8305424B2 (en) System, apparatus and method for panorama image display
EP1408693A1 (en) On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus
JP3573653B2 (ja) 車載画像表示装置
EP0703706B1 (en) Digital television set
WO2003084232A1 (en) An integrated video/data information system and method for application to commercial vehicles to enhance driver awareness
JPH1178692A (ja) 車両用映像提示装置
TW200839734A (en) Video compositing device and video output device
US6762792B1 (en) Digital still camera
JP2003304529A (ja) ネットワークシステム及び画像処理装置
JP3342388B2 (ja) ディジタルカメラ
JP2004312063A (ja) 撮像装置、画像表示システム及び画像表示方法
JP3644890B2 (ja) ビデオ信号処理システム及びビデオ信号処理方法
JP2004056683A (ja) 画像変換システム、画像処理装置及び画像変換方法
JP2573177B2 (ja) 電子会議システムにおける図形表示装置
JP3515467B2 (ja) ディジタルカメラ
JP2004212658A (ja) 画像表示システム、画像表示方法及び画像処理装置
JP2002325249A (ja) 車両側方映像生成装置
JPH08256315A (ja) 多地点同時モニタ制御方法
JP2002500479A (ja) ネットワーク・アプリケーション・データを表示するテレビジョン・システムにおいて実現されるフリッカ・フィルタ及びインタレーサ
JP3234851B2 (ja) 画像処理システム
JPH11243508A (ja) 画像表示装置
JP2005341466A (ja) 車載カメラシステム
JP2004320567A (ja) 撮像装置、画像表示システム、画像表示方法、画像処理システム及び画像処理方法
JPS6378674A (ja) 画像伝送方式

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050506

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060117