JP2004056683A

JP2004056683A - Image transformation system, image processing apparatus, and image transformation method

Info

Publication number: JP2004056683A
Application number: JP2002214483A
Authority: JP
Inventors: Kenichi Hatanaka; 畑中　健一
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2002-07-23
Filing date: 2002-07-23
Publication date: 2004-02-19

Abstract

<P>PROBLEM TO BE SOLVED: To enable easy identification of a camera which captures a display image. <P>SOLUTION: In this image transformation system, the respective cameras attached on a vehicle are connected with an image processing apparatus 13 by using a network cable, and a system is constituted. The image processing apparatus 13 contains figure data of the vehicle wherein attaching points of the respective cameras are marked, and is provided with a translation table for prescribing arrangement positions in figure data and data for display of image pickup data picked up by the cameras. The translation table displays a mark of a camera which photographed a displayed image, being distinguished from other marks. The image processing apparatus 13 converts image pickup data to the data for display to which the figure data are added on the basis of the translation table, displays the data for display on a monitor device, and identifies the camera which captures the image, on the basis of difference of marks. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に取り付けられた撮像装置の撮像データを表示用データに変換するものに関し、特に、表示画像を撮像した撮像装置を容易に特定できると共に、車両に後付けされる撮像装置をスムーズにシステムへ組み込める画像変換システム、画像処理装置及び画像変換方法に関する。
【０００２】
【従来の技術】
従来、車両の運転席から死角となる車両の前部、後部等にカメラを取り付けると共に、カメラの撮像した撮像データを画像処理装置で表示用データに変換し、この表示用データを車内に設置したモニタ装置で表示すると云う画像変換システムが存在する。
【０００３】
図１３は、従来の画像変換システムで変換された表示用データの一例の画像１を示している。画像１は、車両の左前方に取り付けられたカメラが撮像した撮像データを元に画像処理装置で変換された表示用データの画像であり、右下にはカメラが取り付けられた車両部分２を写り込ませて、画像１が車両の左前方に取り付けられたカメラで撮像されたものを認識する際の目印となるようにしている。
【０００４】
また、画像変換システムにおけるカメラには、車両の後部に取り付けるバックカメラのようにディーラオプション等により、車両の生産工場ではなく、ディーラー等で車両に後付するものもある。このようにディーラーで後付けされたカメラも画像変換システムに組み込まれて、画像処理装置により後付けカメラの撮像データを表示用データへ変換し、車内のモニタ装置で表示するようにしている。
【０００５】
【発明が解決しようとする課題】
上述した図１３の画像１は車両部分２が写り込むようにしているが、直感的に何れのカメラによる画像であるかを判別するのが困難な場合がある。例えば、車両の前後端の左右にカメラを取り付けている画像変換システムでは、図１３のような画像１が車内のモニタ装置に表示された場合、左前方のカメラによる画像及び右後方のカメラの画像には何れも右下に車両部分２が写り込むため、一目で左前方の画像であるか又は右後方の画像であるか判断できない問題がある。
【０００６】
一方、画像変換システムにカメラを後付する場合、後付のカメラが撮像した画像をモニタ装置で表示できるようにするためには、後付のカメラに対応した変換を行えるように、画像処理装置のハードウェアを変更したり、変換用のソフトウェアの入れ替え等を行う必要がある。その結果、オプションの後付のカメラを取り付ける場合、カメラ以外に画像処理装置の上述した変更等も必要になり、非常に手間及び費用を要する問題があった。
【０００７】
さらに、上述したようにカメラが後付けされた場合、また、最初から複数のカメラが車両に取り付けられている場合等は、計何個のカメラが車両の何れの位置に取り付けられているかと云うことを運転者が把握するのが困難になる。よって、このようなカメラの取付状況が把握できにくい状況も、上述した何れのカメラによる画像であるかの判別を困難にさせる要因になっている。
【０００８】
本発明は、斯かる事情に鑑みてなされたものであり、車両の何れの位置にカメラが取り付けられているかを容易に把握できる画像変換システム、画像処理装置及び画像変換方法を提供することを目的とする。
また、本発明は、車両に複数のカメラが取り付けられている場合、表示される画像が何れのカメラで撮像されたかを一目で判別できる画像変換システムを提供することを目的とする。
【０００９】
さらに、本発明は、カメラを車両に後付する場合等に、画像処理装置のハードウェアの変更及びソフトウェアの入れ替え等を行うことなしに、自動的に新たなシステムの構成に対応できる画像変換システム、画像処理装置及び画像変換方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
第１発明に係る画像変換システムは、車両に取り付けてある撮像装置と、該撮像装置が撮像した撮像データを表示用データへ変換する画像処理装置とを接続してなる画像変換システムにおいて、前記画像処理装置は、前記撮像装置の取付位置に印を付した車両の図データを含んでおり、該図データ及び前記撮像データの前記表示用データにおける配置位置を規定する変換テーブルと、該変換テーブルに基づいて、前記撮像データを前記図データの付加された前記表示用データへ変換する変換手段とを備えることを特徴とする。
【００１１】
第２発明に係る画像変換システムは、前記撮像装置が複数であり、前記変換テーブルは、変換対象の撮像データを撮像した撮像装置の取付位置に応じた印を、他の撮像装置の取付位置に応じた印と相違させる手段を備えることを特徴とする。
【００１２】
第３発明に係る画像変換システムは、前記画像処理装置が更に、外部の撮像装置を取り付ける取付手段と、該取付手段に外部の撮像装置が取り付けてあるかを検出する検出手段と、該検出手段が前記外部の撮像装置を検出した場合、検出された外部の撮像装置の取付位置に印を付した図データを含む前記変換テーブルを生成する変換テーブル生成手段とを備えることを特徴とする。
【００１３】
第４発明に係る画像変換システムは、前記変換テーブルが、前記表示用データの画素毎に変換情報を含んでおり、前記変換情報は、図データ又は撮像データの配置を規定する識別子を含むことを特徴とする。
【００１４】
第５発明に係る画像変換システムは、車両に取り付けてある撮像装置と、該撮像装置が撮像した撮像データを表示用データへ変換を行う画像処理装置とを接続してなる画像変換システムにおいて、前記変換は前記撮像データの画素毎に対応する変換情報を含む変換テーブルに基づき行われており、外部の撮像装置を取り付ける取付手段と、該取付手段に外部の撮像装置が取り付けてあるかを検出する検出手段と、該検出手段が前記外部の撮像装置を検出した場合、検出された外部の撮像装置の撮像データ用の変換テーブルを生成する変換テーブル生成手段とを備えることを特徴とする。
【００１５】
第６発明に係る画像変換システムは、前記撮像装置及び画像処理装置を接続するネットワークケーブルを備えることを特徴とする。
【００１６】
第７発明に係る画像変換システムは、画像データを表示用データへ変換する画像処理装置を備える画像変換システムにおいて、前記画像データの各画素の前記表示用データにおける配置位置が規定してある前記表示用データの画素毎の変換情報を、前記表示用データの走査順に複数含んである画素変換手段と、前記画素変換手段に基づき、前記画像データを、画素配置が変更された表示用データへ変換する変換手段とを備えることを特徴とする。
【００１７】
第８発明に係る画像処理装置は、撮像データを表示用データへ変換する画像処理装置において、前記撮像データの撮像元の位置の印を付した図データを含んでおり、該図データ及び前記撮像データの前記表示用データにおける配置位置を規定する変換テーブルと、該変換テーブルに基づいて、前記撮像データを前記図データが付加された前記表示用データへ変換する変換手段とを備えることを特徴とする。
【００１８】
第９発明に係る画像処理装置は、撮像データを表示用データに変換を行う画像処理装置において、前記変換は前記撮像データの画素毎に対応する変換情報を含む変換テーブルに基づき行われており、前記撮像データを撮像する撮像装置を検出する検出手段と、該検出手段が前記撮像装置を検出した場合、検出された撮像装置の撮像データ用の変換テーブルを生成する変換テーブル生成手段とを備えることを特徴とする。
【００１９】
第１０発明に係る画像変換方法は、車両に取り付けてある撮像装置で画像を撮像し、撮像された画像の撮像データを表示用データへ変換する画像変換方法において、前記撮像装置の取付位置に印を付した車両の図データを含んでおり、該図データ及び前記撮像データの前記表示用データにおける配置位置を規定する変換テーブルを備え、該変換テーブルに基づいて、前記撮像データを前記図データの付加された前記表示用データへ変換することを特徴とする。
【００２０】
第１１発明に係る画像変換方法は、車両に取り付けてある撮像装置で画像を撮像し、撮像された画像の撮像データを表示用データへ変換を行う画像変換方法において、前記変換は前記撮像データの画素毎に対応する変換情報を含む変換テーブルに基づき行われており、外部の撮像装置を取り付ける取付手段を備え、該取付手段に外部の撮像装置が取り付けてあるかを検出し、該検出手段が前記外部の撮像装置を検出した場合、検出された外部の撮像装置の撮像データ用の変換テーブルを生成することを特徴とする。
【００２１】
第１発明、第８発明及び第１０発明にあっては、変換テーブルに基づき変換された表示用データには、撮像データに加えて撮像装置の取付位置を示す印を付した車両の図データが付加されるので、表示用データにより現在車両に取り付けられている撮像装置の個数及び位置を一目で確認できる。なお、付加される図データは、表示用データの右下又は左下等の何れの箇所に配置することが変換テーブルの内容に応じて可能であり、撮像データと干渉しない箇所に配置することが好ましい。さらに、車両の図データの形態には車両の鳥瞰図を適用することが、撮像装置の取付位置を示すのに最も好適である。
【００２２】
また、変換テーブルは、上述したように撮像データに車両の図データに付加すると同時に、撮像データ自体の内容も変換するようにしてもよい。撮像データ自体を変換する内容としては、画像の視点変更、画像の鏡像反転、拡大縮小、歪み矯正等があり、これら種々の変換は撮像データの各画素の配置を変換内容に応じて適宜規定することで可能になる。よって、このような撮像データ自体の変換を図データの付加と同時に行うことで変換に係る処理の効率化を図れる。なお、変換テーブルが含む車両の図データは、図データを配置する画素に色の要素に係るＲＧＢ値又はＹＵＶ値を指定することで行う。
【００２３】
第２発明にあっては、表示装置等で表示される表示用データの画像を撮像した撮像装置に対応する印は、他の撮像装置の印と相違するため、印の表示形態の相違により表示されている画像を撮像した撮像装置を容易に確認でき、何れの方向の画像であるかをスムーズに把握できる。なお、相違する印の表示形態としては、例えば、表示される画像を撮像した撮像装置の取付位置の印を赤色で表示し、他の撮像装置の取付位置の印を白線で表示すること等が適用できる。また、このような相違する印の表示も、変換テーブルで相違するＲＧＢ値等を指定することで実現できる。
【００２４】
第３発明にあっては、オプション等で後付けする撮像装置を検出手段で検出可能にすると共に、後付けの撮像装置が検出された場合、後付けの撮像装置の取付位置に印を付した図データを含む変換テーブルを生成するため、後付けの撮像装置の取付位置の印も、最初から車両に取り付けてある撮像装置の印と同様に表示用データに自動的に表示できる。よって、画像変換処理装置のハードウェアの変更及びソフトウェアの入れ替え等を行わずに、後付けの撮像装置の取付に対し柔軟に対応できる。
【００２５】
また、このように後付けされてから変換に必要な変換テーブルを生成することにより、最初から車両に取付可能な全ての撮像装置に対応した変換テーブルを記憶しておく場合に比べて、記憶するデータ容量を格段に低く抑えることができる。なお、後付けされた撮像装置を取り外す場合、検出手段が撮像装置を検出しなくなり、撮像装置が取り外された状況に応じた変換テーブルを変換テーブル生成手段で生成することで、撮像装置の取付及び取外しの両方に対応可能とする。
【００２６】
第４発明にあっては、変換テーブルが表示用データの画素毎に対応した変換情報を含み、各変換情報は図データ又は撮像データのいずれを配置するかを規定する識別子を含むので、この識別子の内容に基づきデータ配置に係る判断処理を容易に行うことができる。識別子は１ビットから数ビットのビットを与えることができ、１ビットの識別子の場合、この１ビットが「０」のときは撮像データの配置を意味し、「１」のときは図データに係るＲＧＢ値又はＹＵＶ値の指定を意味するように規定することで対応できる。
【００２７】
第５発明、第９発明及び第１１発明にあっては、後付け等の撮像装置を検出した場合、後付け等の撮像装置の撮像データ用の変換テーブルを生成するため、後付けされた撮像装置の撮像データを画像処理装置のハードウェア等を変更することなしに適切に表示用データへ変換できる。なお、後付けの撮像装置の撮像データ用として新たに生成される変換テーブルの具体的な種類としては、上述した視点変更、鏡像反転、拡大縮小、歪み矯正及び図データの付加等の変換に対応したものがある。
【００２８】
また、変換テーブル生成手段としては、変換テーブルの生成を行う演算プログラム等が該当し、このようなプログラムはＣ言語等で作成した場合、数行程度で収まる。これに対し変換テーブルは数百ｋバイト単位になることから、上述した図データの変更に対応する場合と同様に、車両に取付可能な全ての撮像装置の撮像データに対応する変換テーブルを記憶する場合に比べて記憶容量を大幅に低減できる。
【００２９】
第６発明にあっては、撮像装置及び画像処理装置をネットワークケーブルで接続することにより、画像変換システムがネットワークシステムになり、データの通信及び撮像装置の検出等を各種ＬＡＮ等に応じた規格に基づいて行うことができる。例えば、撮像データの伝送をＩＥＥＥ１３９４に基づいた通信で行うことができると共に、撮像装置の検出に対してＩＥＥＥ１３９４の仕様に応じて各装置が有するＧＵＩＤ（Ｇｌｏｂａｌ　Ｕｎｉｑｕｅ　ＩＤ）等を利用でき、システムの拡張性及び汎用性を向上できる。
【００３０】
第７発明にあっては、表示用データの変換を画素毎に対応する複数の変換情報に応じて行うことで、各変換情報単位で撮像データ等の画像データの入出力に応じて読込及び書き込み等を行うことができ、変換処理に適用される各種メモリの仕様に関係なく、安定した変換処理を行うことができる。
【００３１】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて説明する。
図１は、本発明の実施形態に係る画像変換システム１０の全体構成図である。本実施形態の画像変換システム１０は車両Ｓに取り付けられた左前カメラ１２Ａ、右前カメラ１２Ｂ、ブラインドコーナカメラ１２Ｃ、左側方カメラ１２Ｄ、右側方カメラ１２Ｅ及びバックカメラ１２Ｆを、モニタ装置１４が接続されている画像処理装置１３へネットワークケーブル１５で接続することでシステムを構築している。また、本実施形態のバックカメラ１２Ｆは車両Ｓに後付けされるものであり、ネットワークケーブル１５の端末に設けられた取付手段である端末コネクタ１５ａに取り付けられることでシステムに組み込まれる。
【００３２】
画像変換システム１０は、同期通信用ネットワークのＩＥＥＥ１３９４の規格に合致したネットワーク構成になっており、車両Ｓに構築された車載ＬＡＮの一部である情報系ＬＡＮ１１を形成している。なお、情報系ＬＡＮ１１は、ゲートウェイ装置１６を介してボディ系ＬＡＮ及び制御系ＬＡＮ等の他の系統のＬＡＮと接続されて車載ＬＡＮを形成しており、ボディ系ＬＡＮには舵取装置の舵角センサ等の車両Ｓに設けられた各種センサが接続されている。
【００３３】
上述した各カメラ１２Ａ〜１２Ｆは撮像装置に相当し、図２に示す車両Ｓの各位置に取り付けられている。即ち、左前カメラ１２Ａは車両Ｓの前端左隅に取り付けられており、以下、右前カメラ１２Ｂは前端右隅に、ブラインドコーナカメラ１２Ｃは前端中央に、左側方カメラ１２Ｄは左ドアミラーの根元付近に、右側方カメラ１２Ｅは右ドアミラーの根元付近に、バックカメラ１２Ｆは後端中央に夫々取り付けられている。なお、図中に一点鎖線で示す範囲は各カメラ１２Ａ〜１２Ｆの撮像範囲である。
【００３４】
また、各カメラ１２Ａ〜１２Ｆは、ＩＥＥＥ１３９４に合致した仕様になっており、固有の識別子としてＧＵＩＤ（Ｇｌｏｂａｌ　Ｕｎｉｑｕｅ　ＩＤ）を各々のＲＯＭ（図示せず）を記憶している。これら各カメラ１２Ａ〜１２ＦのＧＵＩＤは、図１に示すネットワークケーブル１５を通じて画像処理装置１３が確認できるようになっている。
【００３５】
さらに、各カメラ１２Ａ〜１２Ｆが撮像した画像の撮像データは、ネットワークケーブル１５を通じて画像処理装置１３へ伝送されている。本実施形態では撮像データの伝送を非圧縮の伝送規格であるＩＩＤＣ　Ｄｉｇｉｔａｌ　Ｃａｍｅｒａ　Ｓｐｅｃｉｆｉｃａｔｉｏｎに基づき、画像処理装置１３がコントローラとして各カメラ１２Ａ〜１２Ｆを制御することで行っている。また、撮像データのデータ形式には非圧縮ＲＧＢデータ又は非圧縮ＹＵＶデータが適用される。
【００３６】
一方、図３に示す画像処理装置１３は、伝送された撮像データをモニタ装置１４で表示する表示用データに変換するものであり、内部に変換テーブル用メモリ２１、通信インタフェース２２、マイクロコンピュータ２３、画像処理ＡＳＩＣ２４、フレームメモリ２５、モニタインタフェース２６、ＲＯＭ２７及びＲＡＭ２８を具備している。
【００３７】
変換テーブル用メモリ２１は、各カメラ１２Ａ〜１２Ｆの撮像データを表示用データへ変換する際に使用する変換テーブルを記憶するものであり、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ＰＲＯＭ）で形成されている。記憶されている変換テーブルは、後述するマイクロコンピュータ２３の発行する読出用トリガに対応するものが画像処理ＡＳＩＣ２４により読み出されるようにしている。
【００３８】
変換テーブル用メモリ２１に記憶される変換テーブルには様々な種類があり、一例として、各カメラ１２Ａ〜１２Ｆの取付位置に印を付した車両Ｓの鳥瞰図の図データを含み、各カメラ１２Ａ〜１２Ｆが撮像した撮像データと前記図データの表示用データにおける配置位置を規定する変換テーブルがある。このような変換テーブルに基づく変換例として、ブラインドコーナカメラ１２Ｃで撮像した図４（ａ）の車両Ｓの前方下方の撮像データ４０を、図４（ｂ）に示す表示用データ４１へ変換することが挙げられる。
【００３９】
表示用データ４１は、画面の上半分に撮像データ４０の画像４０ａを配置すると共に、右下に車両Ｓの鳥瞰図の図データ４２を付加した内容にしており、しかも車両Ｓの鳥瞰図の図データ４２には各カメラ１２Ａ〜１２Ｆの取付位置を示す印４２Ａ〜４２Ｆを、実際の各カメラ１２Ａ〜１２Ｆの車両Ｓに対する位置及び撮像範囲等と対応させて付している。
【００４０】
また、このような変換に適用される変換テーブルは、表示用データ４１にブラインドコーナカメラ１２Ｃの撮像データ４０の画像４０ａを配置しているので、上述した各印４２Ａ〜４２Ｆの中で、ブラインドコーナカメラ１２Ｃの取付位置に応じた印４２Ｃだけを他の印４２Ａ等と相違させた表示形態にする手段を有している。
【００４１】
即ち、印４２Ｃは内部を斜めハッチングにしているが、他の印４２Ａ等は輪郭線のみを表示している。このような表示形態の表示用データ４１をモニタ装置１４で表示することで、車両の運転者は印４２Ａ等により車両Ｓに取り付けてある各カメラ１２Ａ等の個数及び位置を把握でき、さらに、表示された画像を撮像したカメラを各印４２Ａ等の表示形態の相違により一目で認識できる。
【００４２】
上述したような変換を行う変換テーブルの中身の一例を図５に示す。図５の変換テーブル４５は、図６に示す水平方向（図中のＸ軸方向）に６４０画素、垂直方向（図中のＹ軸方向）に４８０画素を有する撮像データ４０を、図４（ｂ）に示す表示用データ４１へ変換する際に適用されるものである。なお、この表示用データ４１は撮像データ４０と同等の画素数であるとする。
【００４３】
変換テーブル４５は表示用データ４１の各画素に対応する変換情報を有し、これら各変換情報には撮像データ４０に対応するものと、図データ４２に対応するものが含まれる。
【００４４】
例えば、変換テーブル４５のＸ軸方向の０画素及びＹ軸方向の０画素の位置を（Ｘ、Ｙ）＝（０、０）で表すと、この位置には（１、０、８０）と云う変換情報がある。この変換情報の意味は、最初のビットとなる「１」は変換情報の種類を示す識別子であり、「１」は撮像データ４０の各画素を用いることを意味する。また、２番目及び３番目の「０」、「８０」は夫々撮像データ４０のＸ軸方向の画素、Ｙ軸方向の画素を意味する。また、変換テーブル４５の各変換情報の位置は、そのまま表示用データ４１の画素位置に対応している。
【００４５】
よって、変換テーブル４５の（Ｘ、Ｙ）＝（０、０）の位置における変換情報の（１、０、８０）は、表示用データ４１の（Ｘ、Ｙ）＝（０、０）の画素位置に撮像データ４０の（Ｘ、Ｙ）＝（０、８０）の画素位置の画素データを配置することを意味する。
【００４６】
また、変換テーブル４５は、（Ｘ、Ｙ）＝（４７９、６３９）の位置に（０、ｘ８００、ｙ８００）と云う変換情報を有している。この変換情報の最初の識別子の「０」は図データ４２であることを意味し、（ｘ８００、ｙ８００）は予め規定されているＲＧＢ値を意味する。よって、変換テーブル４５の（Ｘ、Ｙ）＝（４７９、６３９）の位置における変換情報の（０、ｘ８００、ｙ８００）は、表示用データ４１の（Ｘ、Ｙ）＝（４７９、６３９）の画素位置に図データ４２として（ｘ８００、ｙ８００）で規定されるＲＧＢ値を表示することを意味する。
【００４７】
よって、変換テーブル４５は、このようにＲＧＢ値を規定することで、対応する画素部分に図４（ｂ）に示す図データ４２を含ませるようにしている。なお、この図データ４２における印４２Ｃだけは、配置される撮像データ４０の撮像したカメラ１２Ｃに対応するため、他の印４２Ａ等と相違するＲＧＢ値が規定されている。また、変換テーブル４５における識別子用のビットは１ビットに限定されるものではなく、多数のデータを切り換えて配置する場合等には、２ビット以上を識別子に割り当ててもよい。
【００４８】
上述した変換テーブル４５に基づき図４（ａ）の撮像データ４０を変換することで、図４（ｂ）に示すような上半分に撮像データ４０の主要画像を配置し、下半分を一色で塗りつぶすと共に右下に印４２Ａ〜４２Ｆを付した車両Ｓの鳥瞰図の図データ４２を付加した表示用データ４１を生成している。
【００４９】
なお、変換テーブルには図５の変換テーブル４５以外にも種々のものがあり、例えば、図７（ａ）に示す広角レンズが装着された左前カメラ１２Ａによる広角の歪画像の撮像データ４６を、図７（ｂ）に示す画像の歪みを矯正すると同時に車両Ｓの鳥瞰図の図データ４２を付加して表示用データ４７へ変換するようなものも存在する。この表示用データ４７でも、印４２Ａのみをハッチング表示することで、表示用データ４７の歪みが矯正された画像４６ａは、左前カメラ１２Ａにより撮像されたと容易に確認できる。
【００５０】
さらに、図８の表示用データ４８に示すように、複数の撮像データを組み合わせると共に車両Ｓの鳥瞰図の図データ４２を付加する変換を行う変換テーブルも存在する。この表示用データ４８は、上半分に左前カメラ１２Ａにより撮像された画像４６ａを配置し、下左半分に左側方カメラ１２Ｄにより撮像された画像４９ａを配置して、印４２Ａ、４２Ｄのみをハッチング表示にして、表示される画像４６ａ、４９ａが何れのカメラで撮像されたかを一目で判断できるようにしている。
【００５１】
このような変換テーブルは変換テーブル用メモリ２１に、マイクロコンピュータ２３の発行する読出用トリガに対応して多数記憶されている。なお、バックカメラ１２Ｆ以外の他のカメラ１２Ａ等に対応する変換テーブルは、最初から変換テーブル用メモリ２１に記憶されているが、バックカメラ１２Ｆに対応する変換テーブルは、後述するようにバックカメラ１２Ｆの取付に応じて生成された時点で記憶される。
【００５２】
変換テーブル用メモリ２１で記憶する形態を上述したようにしているのは、取り付けられていないカメラに対応する変換テーブルにより記憶容量が占用されるのを防ぐためである。なお、後付けされたバックカメラ１２Ｆが車両Ｓから取り外された場合、取り外されたバックカメラ１２Ｆに対応する変換テーブルは変換テーブル用メモリ２１から削除される。
【００５３】
また、図３に示す画像処理装置１３の他のハードウェアである通信インタフェース２２はシステムの物理層処理、データリンク層処理及びトランザクション層処理を行うネットワークの接続インタフェースであり、各カメラ１２Ａ等から伝送された撮像データの受付に係る処理を上述した各層に応じて行っている。
【００５４】
マイクロコンピュータ２３は、ＲＯＭ２７内に記憶されているプログラムに基づき画像処理に係る全般の制御処理、組み込まれている各カメラ１２Ａ等の検出、変換テーブルの生成等を行うものであり、各カメラ１２Ａ等の切換スイッチ等を有する操作部２９が接続されている。
【００５５】
操作部２９で各カメラ１２Ａ等の切換操作が行われた場合、マイクロコンピュータ２３は、この切換操作に応じた指示信号を受け付けて対応するカメラ１２Ａ等の撮像データを画像処理ＡＳＩＣ２４に取り込む。さらに、マイクロコンピュータ２３は、前記カメラ１２Ａ等に対応する変換テーブルの読出用トリガを発行して、画像処理ＡＳＩＣ２４に読出用トリガに対応する変換テーブルを変換テーブル用メモリ２１から読み出させる制御を行う。
【００５６】
また、マイクロコンピュータ２３は、車両Ｓの各所に設けられた各種センサの検出信号を、ボディ系ＬＡＮ等を通じて受け付けて車両Ｓの状況を検出する機能も有している。例えば、マイクロコンピュータ２３は車両Ｓの左折、右折等を舵取装置に設けられた舵角センサの検出信号により検出し、後進の状態を変速装置に設けられたギア位置センサの検出信号により検出している。マイクロコンピュータ２３は、このような車両Ｓの状況を検出すると、検出した内容に応じた変換テーブルの読出用トリガを発行し、画像処理ＡＳＩＣ２４に読出用トリガに対応する変換テーブルを読み出させている。
【００５７】
例えば、左折時の検出信号を受け付けると、マイクロコンピュータ２３は左前カメラ１２Ａ用の変換テーブルの読出用トリガを発行する制御を行う。なお、マイクロコンピュータ２３は、操作部２９からの指示信号を受け付けた場合、各センサからの検出信号に比べて前記指示信号を優先的に扱うようにしている。
【００５８】
また、マイクロコンピュータ２３は各カメラ１２Ａ等の取付に対する検出手段として、画像変換システム１０の起動時、操作部２９の操作時、車両状況に係る検出信号の受付時、及び、ＩＥＥＥ１３９４のプラグ・アンド・プレイ機能に基づき新たな機器の接続に対するバスリセット時等に、ネットワークケーブル１５に接続されている各カメラ１２Ａ〜１２ＦのＧＵＩＤを読み込む処理を行う。この読込処理に伴い、マイクロコンピュータ２３は、ＲＯＭ２７に記憶されているＧＵＩＤテーブルと比較して、現在システムに接続されているカメラ１２Ａ〜１２Ｆを認識し、認識した結果をＲＡＭ２８に記憶している。
【００５９】
さらに、マイクロコンピュータ２３は、認識した結果とＲＡＭ２８に記憶されている前回の認識結果との比較を行い、システムに組み込まれているカメラ１２Ａ〜１２Ｆに変化がないかを検出している。例えば、図１に示すように、後付けのバックカメラ１２Ｆが端末コネクタ１５ａに取り付けられた場合、マイクロコンピュータ２３はバックカメラ１２Ｆが新たに取り付けられたことを検出する。
【００６０】
このように検出すると、マイクロコンピュータ２３は、変換テーブル用メモリ２１に現在記憶されている各種変換テーブルをバックカメラ１２Ｆに対応した内容に書き換えると共に、バックカメラ１２Ｆの撮像データ用の変換テーブルを新たに生成する処理を行う。この変換テーブルの書換及び新たな変換テーブルの生成は、図３に示すＲＯＭ２７に記憶されている変換テーブル生成手段に相当する書換及び生成用の演算プログラムに応じて行われる。
【００６１】
なお、この演算プログラムは、変換式を含む数行程度のプログラムである一方、生成された変換テーブルは数百ｋバイトあるため、上述したように後付けされたバックカメラ１２Ｆに対して新たに変換テーブルを生成することで、変換テーブル用メモリ２１の記憶容量を無駄に占用しないようにしている。
【００６２】
また、上述した変換テーブルの書換は、主に、図４（ｂ）等に示す表示用データ４１に付加されたバックカメラ１２Ｆの取付位置の印４２Ｆを追加する内容になる。即ち、バックカメラ１２Ｆが車両Ｓに取り付けられていない状態では、変換テーブル用メモリ２１に記憶されている各変換テーブルは、図９に示すように、各カメラ１２Ａ〜１２Ｅに対応する印４２Ａ〜４２Ｅを付した車両Ｓの鳥瞰図の図データ４２を含む内容になっている。
【００６３】
しかし、バックカメラ１２Ｆが端末コネクタ１５ａに取り付けられることで、各変換テーブルは書き換えられて、図４（ｂ）の表示用データ４１に示すように、バックカメラ１２Ｆの取付位置に対応する印４２Ｆが新たに追加された表示形態になるような内容に変更される。これにより、表示用データ４１では、常に現在取り付けられているカメラ１２Ａ等の印４２Ａ等が表示される。
【００６４】
また、画像処理ＡＳＩＣ２４は、画像処理専用のカスタムＩＣであり、変換手段として各カメラ１２Ａ等の撮像データを変換テーブル用メモリ２１から読み出した変換テーブルに基づいて表示用データ４１等に変換するものである。なお、画像処理ＡＳＩＣ２４は、マイクロコンピュータ２３が発行する読出用トリガに応じて読み出した種々の変換テーブルに基づき変換を行うことにより、撮像データを様々な形態の表示用データ４１等に変換できる。このように変換された表示用データ４１等は、一旦、画像処理ＡＳＩＣ２４からフレームメモリ２５へ伝送される。さらに、画像処理ＡＳＩＣ２４は、変換テーブルの識別子の内容に基づき撮像データと図データに対する各々の取込みポートを切り換えている。
【００６５】
フレームメモリ２５は、撮像データ記憶領域及び表示用データ記憶領域を有しており、撮像データ記憶領域で各カメラ１２Ａ等から送出された撮像データ４０を１画面単位で一時的に記憶し、表示用データ記憶領域で画像処理ＡＳＩＣ２４により変換された表示用データを１画面単位で記憶している。なお、表示用データ記憶領域は、１画面分の表示用データを蓄積した後、蓄積した各表示用データをモニタインタフェース２６へ順次送出している。また、表示用データ記憶領域では、表示用データ以外にも、初期画面用のデータ、背景用のデータ等も記憶している。
【００６６】
モニタインタフェース２６は、モニタ装置１４への接続用インタフェースであり、表示用データをアナログ画像信号の形態でモニタ装置１４へ出力する。なお、モニタインタフェース２６は、アナログＲＧＢ信号又はモニタ装置１４との間でデジタル伝送等に係るデジタル画像信号に対応したデータを出力可能にしてもよい。
【００６７】
次に、画像変換システム１０における車両Ｓに取り付けられているカメラの検出から撮像された画像の表示に至る一連の画像変換方法に係る処理を図１０の第１フローチャート及び図１１の第２フローチャートに基づき説明する。
先ず、画像変換システム１０の電源スイッチをオンにしてシステムを立ち上げる（Ｓ１）。次に、画像処理装置１３のマイクロコンピュータ２３は現在システムに組み込まれている各カメラ１２Ａ等のＧＵＩＤの検出を行う（Ｓ２）。この検出の結果に基づき、マイクロコンピュータ２３がカメラ数に変化があるか否かを判断する（Ｓ３）。
【００６８】
カメラ数に変化がある場合（Ｓ３：ＹＥＳ）、次にカメラが増加したか否かをマイクロコンピュータ２３は判断する（Ｓ４）。カメラが増加した場合（Ｓ４：ＹＥＳ）、マイクロコンピュータ２３が既に変換テーブル用メモリ２１に記憶されている変換テーブルを、増加したカメラに対応した内容に書換を行うと共に、増加したカメラ用の変換テーブルをＲＯＭ２７に記憶されている演算プログラムに基づき生成し、生成した新たな変換テーブルを変換テーブル用メモリ２１に書き込む（Ｓ５）。
【００６９】
また、カメラが増加していない場合（Ｓ４：ＮＯ）、即ち、カメラが減少している場合は、変換テーブル用メモリ２１に既に記憶されている変換テーブルを減少したカメラに対応した内容に書換を行うと共に、減少したカメラ用の変換テーブルを変換テーブル用メモリ２１から削除する（Ｓ６）。
【００７０】
上述したカメラ数の変化に応じた処理（Ｓ５、Ｓ６）の後、及び、カメラ数の変化の判断で変化がない場合（Ｓ３：ＮＯ）、画像処理装置１３は次に各カメラ１２Ａ等からの撮像データの受付があるか否かの判断を行う（Ｓ７）。撮像データの受付がない場合（Ｓ７：ＮＯ）、撮像データを受け付けるまで画像処理装置１３は撮像データの待ち受けのループ状態になる。
【００７１】
また、画像処理装置１３が撮像データを受け付けた場合（Ｓ７：ＹＥＳ）、図１１の第２フローチャートに示すように、操作部２９でモニタ装置１４に表示させるカメラ画像が指定されたかの判断がマイクロコンピュータ２３で行われる（Ｓ８）。カメラ画像が指定された場合（Ｓ８：ＹＥＳ）、指定されたカメラ画像に対応する変換テーブルをマイクロコンピュータ２３の制御により画像処理ＡＳＩＣ２４が変換テーブル用メモリ２１から読み出す（Ｓ９）。
【００７２】
また、操作部２９でカメラ画像の指定がされていない場合（Ｓ８：ＮＯ）、各センサより受け付ける検出信号に基づく検出状況に応じた変換テーブルをマイクロコンピュータ２３の制御により画像処理ＡＳＩＣ２４が変換テーブル用メモリ２１から読み出す（Ｓ１０）。
【００７３】
上述したように変換テーブルの読出（Ｓ９、Ｓ１０）の後、画像処理ＡＳＩＣ２４は、読み出した変換テーブルに基づいて撮像データを表示用データに変換し（Ｓ１１）、変換された表示用データをモニタ装置１４で表示する（Ｓ１２）。このように本発明では、車両Ｓに後付けされるカメラがある場合でも、画像処理装置１３が自動的に取り付けられたカメラを認識して変換処理に要する変換テーブルを準備するので、画像処理装置１３のハードウェア及びソフトウェアを変更することなしに、撮像データの表示処理に対応できる。
【００７４】
なお、本発明に係る画像変換システム１０は、上述した形態以外にも種々の変形例が可能である。例えば、上述した実施形態では、図１に示すように、画像処理装置１３はモニタ装置１４と別体にされているが、画像処理装置１３をモニタ装置１４に組み込んで画像処理装置１３とモニタ装置１４とを一体化するようにしてもよい。さらに、画像処理装置１３はゲートウェイ装置１６と一体化するようにしてもよい。
【００７５】
また、図４（ｂ）の表示用データ４１における画像を撮像したカメラ１２Ａ等の印４２Ａ等の表示形態は、ハッチング以外にも赤色等で塗りつぶして他の印と相違させるようにしてもよい。
【００７６】
さらに、図１の各カメラ１２Ａ〜１２Ｆが撮像データを画像処理装置１３へ伝送する場合、非圧縮以外にも圧縮して伝送することも可能である。圧縮伝送を行う場合は、ＤＶ（デジタルビデオ）圧縮のようにフレーム内で圧縮処理が完結してリアルタイム性が高い圧縮形式が好適であり、画像処理装置１３がＡＶ／Ｃプロトコル（ＩＥＣ−６１８８３：国際電気標準会議の規格）に基づき各カメラ１２Ａ等の制御を行う。なお、このようにＤＶ圧縮等の圧縮伝送を行う場合、画像処理装置１３の通信インタフェース２２又は画像処理ＡＳＩＣ２４内にデコーダを設ける必要がある。
【００７７】
また、画像変換システム１０は、バックカメラ１２Ｆを後付の対象にしているが、他のカメラ１２Ａ等もネットワークケーブル１５を介して、後から取付及び取り外し可能にしてもよい。
【００７８】
さらに、撮像データから表示用データの変換を、図５に示す変換テーブル４５の形態で行うのではなく、表示用データの画素毎に対応する複数の変換情報を走査順に並べた画素変換手段に基づき行うようにしてもよい。各変換情報自体は撮像データの各画素又は図データのＲＧＢ値を指定しており、このような変換情報が走査順に並べられることで、表示用データにおける配置位置を規定できる。
【００７９】
図１２は、図５における変換テーブル４５の内容を、画素変換手段の変換情報として走査順に縦方向へ並べた状態を概略的に示したものである。表示用データの走査方向は左から右方向であるため、図５の変換テーブルにおいて１行目の左端の（Ｘ、Ｙ）＝（０、０）の変換情報から右端の（Ｘ、Ｙ）＝（０、６３９）の変換情報までを、画素変換手段の変換情報として並べ、さらに、２行目の左端の（Ｘ、Ｙ）＝（１、０）の変換情報から右端の（Ｘ、Ｙ）＝（１、６３９）までの変換情報を並べ、以降同様に最下段まで変換情報を並べている。
【００８０】
よって、変換テーブル４５と同様の変換を行う場合、６４０×４８０個の変換情報が走査順に並び、各変換情報に基づいて画素単位で撮像データを表示用データへ変換する。よって、変換の際に、変換情報の集合体である二次元的な構造の変換テーブルの代わりに、一次元的な構造の変換情報を独立して用いることで、画像処理装置１３への撮像データの入力等に応じて連続的な読込及び書き込みが可能になり処理形態を細分化できる。その結果、図３に示す変換テーブル用メモリ２１に、バースト転送で高速アクセスが不可能なＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｓ　ＤＲＡＭ）のようなメモリ等も適用可能になり、コスト低減等の達成も容易になる。
【００８１】
なお、複数の変換情報を並べた画素変換手段の実際のデータ構造では、図１２に示す各変換情報をくぐる括弧は不要になる。また、１個の変換情報の内容は上位ビットを識別子、下位ビットをデータ用に用いることになり、例えば、１個の変換情報が３２ビットの場合、上位８ビットを識別子として用い、次の２４ビットを撮像データ又は図データに利用することになる。よって、この場合では、上述したような３２ビットの変換情報のデータが連続するデータ構造になる。
【００８２】
また、変換テーブル用メモリ２１は、各種データに対するアクセス速度を考慮して、アクセス速度の遅いＥＥＰＲＯＭと、高速アクセス可能なＲＡＭの二重構造で形成し、アクセス速度に応じた画像変換処理を行うようにしてもよい。
【００８３】
【発明の効果】
以上に詳述した如く、第１発明、第８発明及び第１０発明にあっては、変換された表示用データには、撮像装置の取付位置を示す印を付した車両の図データが付加されるので、一目で車両に取り付けてある撮像装置の個数及び位置を把握できる。
第２発明にあっては、モニタ装置で表示される画像を撮像した撮像装置に対応する印を、他の印と相違させるため、印の表示形態の相違により表示画像を撮像した撮像装置を容易に確認できる。
【００８４】
第３発明にあっては、後付けする撮像装置を検出して、後付けの撮像装置の取付位置に印を付した図データを含む変換テーブルを生成するため、後付けの撮像装置の取付位置の印も、最初から取り付けてある撮像装置の印と同様に自動で表示でき、画像変換処理装置の変更等を行わずに後付の撮像装置をスムーズにシステムに組み込むことができる。
【００８５】
第４発明にあっては、図データ又は撮像データの配置を規定する識別子を含む変換情報を含む変換テーブルに基づき変換を行うので、識別子の内容を確認してデータ配置に係る判断処理を容易に行うことができる。
【００８６】
第５発明、第９発明及び第１１発明にあっては、検出された後付けの撮像装置の撮像データ用の変換テーブルを生成するため、画像処理装置のハードウェア等を変更することなしに、後付の撮像装置の撮像データを容易に表示用データへ変換できる。
【００８７】
第６発明にあっては、撮像装置及び画像処理装置をネットワークケーブルで接続することにより、各種ＬＡＮ等の規格に基づいてデータを通信できる。
第７発明にあっては、表示用データの変換を画素毎に対応する複数の変換情報に応じて行うことで、各変換情報単位で読込及び書き込み等が可能になり、迅速な変換処理を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像変換システムの全体構成図である。
【図２】車両に対するカメラの取付位置を示す概略図である。
【図３】画像処理装置の構成を示すブロック図である。
【図４】（ａ）は撮像データの例を示す図であり、（ｂ）は表示用データの例を示す図である。
【図５】変換テーブルの中身の一例を示す図である。
【図６】撮像データの画素数を示す図である。
【図７】（ａ）は撮像データの他の例を示す図であり、（ｂ）は表示用データの他の例を示す図である。
【図８】表示用データの他の例を示す図である。
【図９】バックカメラが取り付けられていない状態の車両の図データを示す図である。
【図１０】本発明の処理に係る第１フローチャートである。
【図１１】本発明の処理に係る第２フローチャートである。
【図１２】変換情報を表示用データの走査順に縦方向に並べた状態を示す概略図である。
【図１３】従来の表示用データの画像の一例を示す図である。
【符号の説明】
１０　画像変換システム
１２Ａ〜１２Ｆ　各カメラ
１３　画像処理装置
１４　モニタ装置
２１　変換テーブル用メモリ
２３　マイクロコンピュータ
２９　操作部
４０、４６　撮像データ
４１、４７、４８　表示用データ
４２　図データ
４２Ａ〜４２Ｆ　印
Ｓ　車両[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a device that converts image data of an image pickup device attached to a vehicle into display data, and in particular, can easily specify an image pickup device that has picked up a display image, and smoothly converts an image pickup device that is attached to a vehicle. The present invention relates to an image conversion system, an image processing device, and an image conversion method that can be incorporated in a system.
[0002]
[Prior art]
Conventionally, a camera is attached to a front part, a rear part, and the like of a vehicle in a blind spot from a driver's seat of a vehicle, and image data captured by the camera is converted into display data by an image processing device, and the display data is installed in the vehicle. There is an image conversion system for displaying on a monitor device.
[0003]
FIG. 13 shows an image 1 as an example of display data converted by a conventional image conversion system. Image 1 is an image of display data converted by an image processing device based on image data captured by a camera attached to the left front of the vehicle, and shows a vehicle portion 2 with the camera attached to the lower right. The image 1 is used as a mark when recognizing an image captured by a camera attached to the left front of the vehicle.
[0004]
Some cameras in the image conversion system are retrofitted to a vehicle by a dealer or the like instead of a vehicle production factory depending on a dealer option, such as a back camera attached to a rear portion of the vehicle. The camera retrofitted by the dealer as described above is also incorporated in the image conversion system, and the image processing device converts the image data of the retrofitted camera into display data, and displays the data on a monitor device in the vehicle.
[0005]
[Problems to be solved by the invention]
Although the image 1 shown in FIG. 13 includes the vehicle portion 2 in some cases, it may be difficult to intuitively determine which camera is the image. For example, in an image conversion system in which cameras are attached to the left and right ends of the front and rear ends of a vehicle, when an image 1 as shown in FIG. 13 is displayed on a monitor device in the vehicle, an image of a left front camera and an image of a right rear camera are displayed. In any case, since the vehicle portion 2 appears in the lower right, there is a problem that it is not possible to determine at a glance whether the image is a left front image or a right rear image.
[0006]
On the other hand, when a camera is retrofitted to the image conversion system, an image processing apparatus is required to perform conversion corresponding to the retrofitted camera so that an image captured by the retrofit camera can be displayed on a monitor device. It is necessary to change the hardware of the software or replace the conversion software. As a result, when an optional retrofit camera is mounted, the above-described change of the image processing apparatus is required in addition to the camera, and there has been a problem that it is extremely troublesome and expensive.
[0007]
Further, when the cameras are retrofitted as described above, or when a plurality of cameras are mounted on the vehicle from the beginning, the number of cameras in total and at which position on the vehicle is referred to. It becomes difficult for the driver to grasp the situation. Therefore, such a situation in which it is difficult to grasp the mounting state of the camera is also a factor that makes it difficult to determine which camera is the image.
[0008]
The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image conversion system, an image processing device, and an image conversion method that can easily determine at which position of a vehicle a camera is attached. And
Another object of the present invention is to provide an image conversion system that can determine at a glance which camera has a displayed image when a plurality of cameras are mounted on a vehicle.
[0009]
Furthermore, the present invention provides an image conversion system that can automatically cope with a new system configuration without changing the hardware of an image processing apparatus and replacing software when a camera is retrofitted to a vehicle or the like. It is an object to provide an image processing apparatus and an image conversion method.
[0010]
[Means for Solving the Problems]
An image conversion system according to a first aspect of the present invention is an image conversion system including an imaging device attached to a vehicle and an image processing device that converts image data captured by the imaging device into display data. The processing device includes diagram data of the vehicle with the mark attached to the mounting position of the imaging device, a conversion table that defines an arrangement position of the diagram data and the imaging data in the display data, and a conversion table. Conversion means for converting the image data into the display data to which the drawing data is added based on the image data.
[0011]
In the image conversion system according to a second aspect, the image pickup device includes a plurality of image pickup devices, and the conversion table sets a mark corresponding to a mount position of the image pickup device that has picked up the image data to be converted, at a mount position of another image pickup device. It is characterized by comprising means for making it different from the corresponding mark.
[0012]
An image conversion system according to a third aspect, wherein the image processing apparatus further includes an attachment unit for attaching an external imaging device, a detection unit for detecting whether an external imaging device is attached to the attachment unit, and the detection unit And a conversion table generating means for generating the conversion table including the figure data in which the detected mounting position of the external imaging device is marked when the external imaging device is detected.
[0013]
An image conversion system according to a fourth aspect is characterized in that the conversion table includes conversion information for each pixel of the display data, and the conversion information includes an identifier that specifies an arrangement of the drawing data or the imaging data. Features.
[0014]
An image conversion system according to a fifth aspect of the present invention is an image conversion system comprising an imaging device attached to a vehicle and an image processing device that converts imaging data captured by the imaging device into display data. The conversion is performed based on a conversion table including conversion information corresponding to each pixel of the imaging data, and detects an attaching means for attaching an external imaging device and whether an external imaging device is attached to the attaching means. When the detection unit detects the external imaging device, the conversion unit includes a conversion table generation unit that generates a conversion table for imaging data of the detected external imaging device.
[0015]
An image conversion system according to a sixth aspect is characterized in that the image conversion system includes a network cable connecting the imaging device and the image processing device.
[0016]
An image conversion system according to a seventh aspect of the present invention is the image conversion system including an image processing device that converts image data into display data, wherein the display position of each pixel of the image data in the display data is defined. Pixel conversion means including a plurality of pieces of conversion information for each pixel of the display data in the scanning order of the display data, and converting the image data into display data having a changed pixel arrangement based on the pixel conversion means. Conversion means.
[0017]
An image processing apparatus according to an eighth aspect of the present invention is an image processing apparatus for converting image data into display data, wherein the image data includes figure data marked with the position of the imaging source of the image data. A conversion table that defines an arrangement position of data in the display data; and a conversion unit that converts the image data into the display data to which the drawing data is added based on the conversion table. I do.
[0018]
An image processing device according to a ninth aspect is an image processing device that converts imaging data into display data, wherein the conversion is performed based on a conversion table including conversion information corresponding to each pixel of the imaging data, A detection unit that detects an imaging device that captures the imaging data; and a conversion table generation unit that generates a conversion table for imaging data of the detected imaging device when the detection unit detects the imaging device. It is characterized by.
[0019]
An image conversion method according to a tenth aspect of the present invention is an image conversion method for capturing an image with an imaging device mounted on a vehicle and converting captured data of the captured image into display data. The figure data of the vehicle with the attached, including a conversion table that defines the layout position of the figure data and the imaging data in the display data, based on the conversion table, the imaging data of the figure data The data is converted into the added display data.
[0020]
An image conversion method according to an eleventh aspect is an image conversion method for capturing an image with an imaging device attached to a vehicle, and converting captured data of the captured image into display data. It is performed based on a conversion table including conversion information corresponding to each pixel, includes an attachment unit for attaching an external imaging device, detects whether an external imaging device is attached to the attachment unit, and detects the detection unit. When the external imaging device is detected, a conversion table for image data of the detected external imaging device is generated.
[0021]
In the first invention, the eighth invention, and the tenth invention, the display data converted based on the conversion table includes, in addition to the imaging data, drawing data of a vehicle marked with a mounting position of the imaging device. Since it is added, the number and position of the imaging devices currently attached to the vehicle can be confirmed at a glance from the display data. The figure data to be added can be arranged at any place such as the lower right or lower left of the display data according to the contents of the conversion table, and is preferably arranged at a place that does not interfere with the imaging data. . Furthermore, applying a bird's-eye view of the vehicle to the form of the diagram data of the vehicle is most suitable for indicating the mounting position of the imaging device.
[0022]
Further, the conversion table may add the image data of the vehicle to the image data as described above, and may also convert the content of the image data itself. The contents of converting the imaging data itself include changing the viewpoint of the image, inverting the mirror image of the image, enlarging / reducing the image, correcting distortion, and the like. These various conversions appropriately define the arrangement of each pixel of the imaging data according to the content of the conversion. It becomes possible by doing. Therefore, by performing such conversion of the imaging data itself at the same time as the addition of the drawing data, the efficiency of the processing relating to the conversion can be improved. The drawing data of the vehicle included in the conversion table is obtained by designating an RGB value or a YUV value relating to a color element to a pixel on which the drawing data is arranged.
[0023]
According to the second aspect, the mark corresponding to the imaging device that has captured the image of the display data displayed on the display device or the like is different from the marks of the other imaging devices. It is possible to easily confirm the imaging device that has captured the image, and to smoothly grasp the image in which direction. In addition, as a display form of a different mark, for example, the mark of the mounting position of the imaging device that captured the displayed image is displayed in red, and the mark of the mounting position of another imaging device is displayed by a white line. Applicable. The display of such different marks can also be realized by specifying different RGB values or the like in the conversion table.
[0024]
According to the third aspect, the image pickup device to be retrofitted with an option or the like can be detected by the detecting means, and when the post-attachment image capture device is detected, the figure data in which the mounting position of the post-attachment image capture device is marked is displayed. Since the conversion table including the image data is generated, the mark of the attachment position of the retrofitted imaging device can be automatically displayed on the display data in the same manner as the mark of the imaging device attached to the vehicle from the beginning. Therefore, it is possible to flexibly cope with the attachment of the retrofitted imaging device without changing the hardware of the image conversion processing device and replacing the software.
[0025]
Also, by generating a conversion table necessary for conversion after being attached in this way, compared with a case where conversion tables corresponding to all imaging devices that can be attached to the vehicle from the beginning are stored, data to be stored is stored. The capacity can be significantly reduced. When the attached imaging device is removed, the detection unit stops detecting the imaging device, and the conversion table generation unit generates a conversion table according to the situation in which the imaging device has been removed, so that the imaging device can be attached and detached. Both can be supported.
[0026]
According to the fourth aspect, the conversion table includes conversion information corresponding to each pixel of the display data, and each conversion information includes an identifier that specifies which of the drawing data and the imaging data is arranged. The determination process relating to the data arrangement can be easily performed based on the contents of the above. The identifier can be given from one bit to several bits. In the case of a one-bit identifier, when this one bit is “0”, it means the arrangement of the imaging data. This can be dealt with by specifying an RGB value or a YUV value.
[0027]
In the fifth invention, the ninth invention, and the eleventh invention, when a retrofitted imaging device is detected, a conversion table for imaging data of the retrofitted imaging device is generated. Data can be appropriately converted to display data without changing the hardware or the like of the image processing apparatus. The specific types of the conversion table newly generated for the imaging data of the retrofitted imaging device correspond to the above-described conversions such as viewpoint change, mirror image inversion, enlargement / reduction, distortion correction, and addition of drawing data. There is something.
[0028]
The conversion table generating means corresponds to an arithmetic program for generating a conversion table, and such a program can be stored in about several lines when it is created in C language or the like. On the other hand, since the conversion table is in the unit of several hundred kilobytes, the conversion table corresponding to the image data of all the image pickup devices attachable to the vehicle is stored in the same manner as in the case of the above-described change of the diagram data. The storage capacity can be significantly reduced as compared with the case.
[0029]
In the sixth invention, the image conversion system becomes a network system by connecting the imaging device and the image processing device with a network cable, and data communication and detection of the imaging device are performed in accordance with a standard corresponding to various LANs and the like. Can be based on For example, image data can be transmitted by communication based on IEEE 1394, and a GUID (Global Unique ID) of each device can be used according to the specification of IEEE 1394 to detect an imaging device, thereby expanding the system. And versatility can be improved.
[0030]
According to the seventh aspect, conversion of display data is performed in accordance with a plurality of pieces of conversion information corresponding to each pixel, so that reading and writing are performed in accordance with input / output of image data such as imaging data in units of each conversion information. Can be performed, and stable conversion processing can be performed regardless of the specifications of various memories applied to the conversion processing.
[0031]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the present invention will be described with reference to the drawings showing the embodiments.
FIG. 1 is an overall configuration diagram of an image conversion system 10 according to an embodiment of the present invention. The image conversion system 10 according to the present embodiment includes a front left camera 12A, a right front camera 12B, a blind corner camera 12C, a left camera 12D, a right camera 12E, and a back camera 12F attached to the vehicle S, and a monitor device 14 connected thereto. A system is constructed by connecting the image processing apparatus 13 to the image processing apparatus 13 via a network cable 15. Further, the back camera 12F of the present embodiment is to be retrofitted to the vehicle S, and is incorporated into the system by being attached to a terminal connector 15a which is an attaching means provided at a terminal of the network cable 15.
[0032]
The image conversion system 10 has a network configuration that conforms to the IEEE 1394 standard for a synchronous communication network, and forms an information LAN 11 that is a part of an in-vehicle LAN built in the vehicle S. The information LAN 11 is connected to other LANs such as a body LAN and a control LAN via a gateway device 16 to form an in-vehicle LAN, and the body LAN includes a steering angle of a steering device. Various sensors such as sensors provided on the vehicle S are connected.
[0033]
Each of the cameras 12A to 12F described above corresponds to an imaging device, and is attached to each position of the vehicle S shown in FIG. That is, the front left camera 12A is attached to the front left corner of the vehicle S. Hereinafter, the front right camera 12B is at the front right corner, the blind corner camera 12C is at the front center, the left camera 12D is near the base of the left door mirror, and the right side. The rear camera 12E is mounted near the base of the right door mirror, and the rear camera 12F is mounted at the center of the rear end. In addition, the range shown by the dashed line in the figure is the imaging range of each of the cameras 12A to 12F.
[0034]
Each of the cameras 12A to 12F has a specification conforming to IEEE 1394, and stores a GUID (Global Unique ID) as a unique identifier in each ROM (not shown). The GUID of each of the cameras 12A to 12F can be confirmed by the image processing apparatus 13 through the network cable 15 shown in FIG.
[0035]
Further, image data of images captured by each of the cameras 12A to 12F is transmitted to the image processing device 13 through the network cable 15. In the present embodiment, image data is transmitted by controlling the cameras 12A to 12F as controllers based on IIDC Digital Camera Specification, which is an uncompressed transmission standard. In addition, uncompressed RGB data or uncompressed YUV data is applied to the data format of the imaging data.
[0036]
On the other hand, the image processing device 13 shown in FIG. 3 converts the transmitted imaging data into display data to be displayed on the monitor device 14, and internally includes a conversion table memory 21, a communication interface 22, a microcomputer 23, An image processing ASIC 24, a frame memory 25, a monitor interface 26, a ROM 27, and a RAM 28 are provided.
[0037]
The conversion table memory 21 stores a conversion table used when converting image data of each of the cameras 12A to 12F into display data, and is formed of an EEPROM (Electrically Erasable PROM). The stored conversion table is read by the image processing ASIC 24 in accordance with a read trigger issued by the microcomputer 23 described later.
[0038]
There are various types of conversion tables stored in the conversion table memory 21. For example, the conversion tables include bird's-eye view diagram data of the vehicle S marked with mounting positions of the cameras 12A to 12F. There is a conversion table that defines the arrangement position in the image data and the display data of the figure data. As a conversion example based on such a conversion table, image data 40 at the lower front of the vehicle S in FIG. 4A captured by the blind corner camera 12C is converted into display data 41 shown in FIG. Is mentioned.
[0039]
The display data 41 has a content in which the image 40a of the imaged data 40 is arranged in the upper half of the screen, and the bird's-eye view diagram data 42 of the vehicle S is added to the lower right. Are provided with marks 42A to 42F indicating the mounting positions of the cameras 12A to 12F in correspondence with the actual positions of the cameras 12A to 12F with respect to the vehicle S, the imaging range, and the like.
[0040]
In the conversion table applied to such conversion, since the image 40a of the imaging data 40 of the blind corner camera 12C is arranged in the display data 41, the blind corner is included in each of the marks 42A to 42F described above. A means is provided for displaying only the mark 42C corresponding to the mounting position of the camera 12C differently from the other marks 42A and the like.
[0041]
That is, the inside of the mark 42C is obliquely hatched, while the other marks 42A and the like display only the outline. By displaying the display data 41 in such a display form on the monitor device 14, the driver of the vehicle can grasp the number and position of the cameras 12A and the like attached to the vehicle S by marks 42A and the like. The camera that has captured the captured image can be recognized at a glance by the difference in the display form of each mark 42A and the like.
[0042]
FIG. 5 shows an example of the contents of the conversion table for performing the above-described conversion. The conversion table 45 shown in FIG. 5 converts the imaging data 40 having 640 pixels in the horizontal direction (X-axis direction in the figure) and 480 pixels in the vertical direction (Y-axis direction in the figure) shown in FIG. ) Is applied when the data is converted into the display data 41 shown in FIG. It is assumed that the display data 41 has the same number of pixels as the imaging data 40.
[0043]
The conversion table 45 has conversion information corresponding to each pixel of the display data 41, and each of these conversion information includes one corresponding to the imaging data 40 and one corresponding to the diagram data.
[0044]
For example, when the position of 0 pixel in the X-axis direction and 0 pixel in the Y-axis direction of the conversion table 45 is represented by (X, Y) = (0, 0), the position is (1, 0, 80). There is conversion information. The meaning of the conversion information is that the first bit “1” is an identifier indicating the type of the conversion information, and “1” means that each pixel of the imaging data 40 is used. Also, the second and third “0” and “80” mean the pixel in the X-axis direction and the pixel in the Y-axis direction of the imaging data 40, respectively. Further, the position of each conversion information in the conversion table 45 directly corresponds to the pixel position of the display data 41.
[0045]
Therefore, (1, 0, 80) of the conversion information at the position of (X, Y) = (0, 0) in the conversion table 45 is the pixel of (X, Y) = (0, 0) of the display data 41. This means that the pixel data at the pixel position (X, Y) = (0, 80) of the imaging data 40 is arranged at the position.
[0046]
Further, the conversion table 45 has conversion information of (0, x800, y800) at the position of (X, Y) = (479, 639). "0" of the first identifier of the conversion information means the figure data 42, and (x800, y800) means a predefined RGB value. Therefore, (0, x800, y800) of the conversion information at the position of (X, Y) = (479, 639) in the conversion table 45 is the pixel of (X, Y) = (479, 639) of the display data 41. This means that an RGB value defined by (x800, y800) is displayed as the figure data 42 at the position.
[0047]
Therefore, the conversion table 45 defines the RGB values in this manner, so that the corresponding pixel portion includes the diagram data 42 shown in FIG. 4B. It should be noted that only the mark 42C in the figure data 42 corresponds to the camera 12C that has taken the imaged data 40 to be arranged, and therefore, a different RGB value from the other marks 42A and the like is defined. Further, the number of bits for the identifier in the conversion table 45 is not limited to one bit, and two or more bits may be assigned to the identifier when a large number of data are switched and arranged.
[0048]
By converting the image data 40 of FIG. 4A based on the conversion table 45 described above, the main image of the image data 40 is arranged in the upper half as shown in FIG. 4B, and the lower half is painted with one color. At the same time, display data 41 to which a diagram data 42 of a bird's eye view of the vehicle S marked with marks 42A to 42F at the lower right is added is generated.
[0049]
Note that there are various types of conversion tables other than the conversion table 45 shown in FIG. 5. For example, the imaging data 46 of the wide-angle distortion image by the front left camera 12A equipped with the wide-angle lens shown in FIG. There is a type that corrects the distortion of the image shown in FIG. 7B and converts the image data 42 of the bird's eye view of the vehicle S into the display data 47 at the same time. Also in this display data 47, by displaying only the mark 42A by hatching, it is possible to easily confirm that the image 46a in which the distortion of the display data 47 has been corrected is captured by the front left camera 12A.
[0050]
Further, as shown in the display data 48 in FIG. 8, there is also a conversion table that performs conversion for combining a plurality of pieces of image data and adding the bird's-eye view diagram data 42 of the vehicle S. In the display data 48, an image 46a taken by the left front camera 12A is arranged in the upper half, an image 49a taken by the left camera 12D is arranged in the lower left half, and only the marks 42A and 42D are hatched. Thus, it is possible to determine at a glance which camera picks up the displayed images 46a and 49a.
[0051]
A large number of such conversion tables are stored in the conversion table memory 21 in correspondence with readout triggers issued by the microcomputer 23. The conversion table corresponding to the camera 12A other than the back camera 12F is stored in the conversion table memory 21 from the beginning, but the conversion table corresponding to the back camera 12F is stored in the back camera 12F as described later. Is stored at the time when it is generated in accordance with the attachment of.
[0052]
The reason why the format stored in the conversion table memory 21 is as described above is to prevent the storage capacity from being occupied by the conversion table corresponding to the camera not attached. When the retrofitted rear camera 12F is removed from the vehicle S, the conversion table corresponding to the removed rear camera 12F is deleted from the conversion table memory 21.
[0053]
A communication interface 22, which is another hardware of the image processing apparatus 13 shown in FIG. 3, is a connection interface of a network that performs physical layer processing, data link layer processing, and transaction layer processing of the system, and is transmitted from each camera 12A or the like. The processing related to the reception of the captured image data is performed according to each layer described above.
[0054]
The microcomputer 23 performs overall control processing relating to image processing, detection of the built-in cameras 12A and the like, generation of a conversion table, and the like based on a program stored in the ROM 27. The operation unit 29 having a changeover switch and the like is connected.
[0055]
When a switching operation of each camera 12A or the like is performed by the operation unit 29, the microcomputer 23 receives an instruction signal corresponding to the switching operation and captures image data of the corresponding camera 12A or the like into the image processing ASIC 24. Further, the microcomputer 23 issues a conversion table reading trigger corresponding to the camera 12A or the like, and controls the image processing ASIC 24 to read the conversion table corresponding to the reading trigger from the conversion table memory 21. .
[0056]
The microcomputer 23 also has a function of receiving detection signals from various sensors provided at various places of the vehicle S through a body LAN or the like, and detecting the state of the vehicle S. For example, the microcomputer 23 detects a left turn, a right turn, and the like of the vehicle S by a detection signal of a steering angle sensor provided in the steering device, and detects a reverse state by a detection signal of a gear position sensor provided in the transmission. ing. When detecting such a situation of the vehicle S, the microcomputer 23 issues a readout trigger for the conversion table corresponding to the detected content, and causes the image processing ASIC 24 to read out the conversion table corresponding to the readout trigger. .
[0057]
For example, when receiving the detection signal of the left turn, the microcomputer 23 controls to issue a trigger for reading the conversion table for the front left camera 12A. When the microcomputer 23 receives an instruction signal from the operation unit 29, the microcomputer 23 treats the instruction signal with higher priority than detection signals from the sensors.
[0058]
Further, the microcomputer 23 serves as a detecting means for mounting the cameras 12A and the like, when the image conversion system 10 is activated, when the operation unit 29 is operated, when a detection signal relating to the vehicle condition is received, and when the IEEE 1394 plug-and- Based on the play function, a process of reading the GUID of each of the cameras 12A to 12F connected to the network cable 15 is performed at the time of a bus reset for connection of a new device or the like. Along with this reading process, the microcomputer 23 recognizes the cameras 12A to 12F currently connected to the system by comparing with the GUID table stored in the ROM 27, and stores the recognition result in the RAM 28.
[0059]
Further, the microcomputer 23 compares the recognition result with the previous recognition result stored in the RAM 28, and detects whether there is any change in the cameras 12A to 12F incorporated in the system. For example, as shown in FIG. 1, when the rear camera 12F is attached to the terminal connector 15a, the microcomputer 23 detects that the rear camera 12F is newly attached.
[0060]
Upon detecting in this way, the microcomputer 23 rewrites the various conversion tables currently stored in the conversion table memory 21 to the contents corresponding to the back camera 12F, and newly converts the conversion table for the imaging data of the back camera 12F. Perform generation processing. The rewriting of the conversion table and the generation of a new conversion table are performed in accordance with a rewriting and generation operation program corresponding to the conversion table generating means stored in the ROM 27 shown in FIG.
[0061]
This calculation program is a program of about several lines including a conversion formula, while the generated conversion table is several hundred kbytes. Therefore, a new conversion table is added to the back camera 12F attached as described above. Is generated so that the storage capacity of the conversion table memory 21 is not wasted.
[0062]
In addition, the rewriting of the conversion table described above mainly includes adding a mark 42F of the mounting position of the back camera 12F added to the display data 41 shown in FIG. 4B and the like. That is, when the back camera 12F is not attached to the vehicle S, the conversion tables stored in the conversion table memory 21 include marks 42A to 42E corresponding to the cameras 12A to 12E as shown in FIG. The content includes the bird's-eye view diagram data 42 of the vehicle S marked with.
[0063]
However, when the back camera 12F is attached to the terminal connector 15a, each conversion table is rewritten, and the mark 42F corresponding to the attachment position of the back camera 12F is displayed as shown in the display data 41 in FIG. The content is changed so as to have a newly added display form. As a result, in the display data 41, the mark 42A of the camera 12A or the like currently attached is always displayed.
[0064]
The image processing ASIC 24 is a custom IC dedicated to image processing, and converts image data of each camera 12A and the like into display data 41 and the like based on a conversion table read from the conversion table memory 21 as a conversion unit. is there. Note that the image processing ASIC 24 can convert the imaging data into various forms of display data 41 or the like by performing conversion based on various conversion tables read in response to a read trigger issued by the microcomputer 23. The display data 41 and the like thus converted are transmitted from the image processing ASIC 24 to the frame memory 25 once. Further, the image processing ASIC 24 switches the respective capture ports for the image data and the figure data based on the contents of the identifier in the conversion table.
[0065]
The frame memory 25 has an imaging data storage area and a display data storage area, and temporarily stores the imaging data 40 transmitted from each camera 12A or the like in a unit of one screen in the imaging data storage area. In the data storage area, display data converted by the image processing ASIC 24 is stored in units of one screen. The display data storage area stores display data for one screen and then sequentially sends the stored display data to the monitor interface 26. The display data storage area stores data for the initial screen, data for the background, and the like in addition to the display data.
[0066]
The monitor interface 26 is an interface for connection to the monitor device 14, and outputs display data to the monitor device 14 in the form of an analog image signal. The monitor interface 26 may be capable of outputting analog RGB signals or data corresponding to digital image signals related to digital transmission or the like with the monitor device 14.
[0067]
Next, a process related to a series of image conversion methods from detection of a camera attached to the vehicle S to display of a captured image in the image conversion system 10 is described in a first flowchart of FIG. 10 and a second flowchart of FIG. It will be described based on.
First, the power switch of the image conversion system 10 is turned on to start up the system (S1). Next, the microcomputer 23 of the image processing apparatus 13 detects the GUID of each camera 12A or the like currently incorporated in the system (S2). Based on the result of this detection, the microcomputer 23 determines whether or not the number of cameras has changed (S3).
[0068]
If there is a change in the number of cameras (S3: YES), the microcomputer 23 determines whether or not the number of cameras has increased (S4). If the number of cameras has increased (S4: YES), the microcomputer 23 rewrites the conversion table already stored in the conversion table memory 21 to the content corresponding to the increased camera, and converts the increased camera conversion table. Is generated based on the arithmetic program stored in the ROM 27, and the generated new conversion table is written into the conversion table memory 21 (S5).
[0069]
If the number of cameras has not increased (S4: NO), that is, if the number of cameras has decreased, the conversion table already stored in the conversion table memory 21 is rewritten to the content corresponding to the reduced camera. At the same time, the reduced camera conversion table is deleted from the conversion table memory 21 (S6).
[0070]
After the processing according to the change in the number of cameras (S5, S6), and when there is no change in the determination of the change in the number of cameras (S3: NO), the image processing device 13 next transmits the data from each camera 12A and the like. It is determined whether or not image data has been received (S7). When the imaging data is not received (S7: NO), the image processing apparatus 13 enters a loop state of waiting for the imaging data until the imaging data is received.
[0071]
When the image processing device 13 receives the image data (S7: YES), the microcomputer determines whether the camera image to be displayed on the monitor device 14 is designated by the operation unit 29 as shown in the second flowchart of FIG. 23 is performed (S8). When the camera image is specified (S8: YES), the image processing ASIC 24 reads the conversion table corresponding to the specified camera image from the conversion table memory 21 under the control of the microcomputer 23 (S9).
[0072]
If the camera image has not been designated on the operation unit 29 (S8: NO), the microcomputer 23 controls the image processing ASIC 24 to generate a conversion table corresponding to a detection state based on a detection signal received from each sensor. The data is read from the memory 21 (S10).
[0073]
After reading the conversion table (S9, S10) as described above, the image processing ASIC 24 converts the image data into display data based on the read conversion table (S11), and converts the converted display data into a monitor device. It is displayed at 14 (S12). As described above, according to the present invention, even when there is a camera to be retrofitted to the vehicle S, the image processing device 13 automatically recognizes the attached camera and prepares a conversion table required for the conversion process. It is possible to cope with the display processing of the imaging data without changing the hardware and the software.
[0074]
In addition, the image conversion system 10 according to the present invention can be variously modified in addition to the above-described embodiment. For example, in the above-described embodiment, as shown in FIG. 1, the image processing device 13 is provided separately from the monitor device 14. However, the image processing device 13 is incorporated in the monitor device 14, and the image processing device 13 and the monitor device 14 may be integrated. Further, the image processing device 13 may be integrated with the gateway device 16.
[0075]
Further, the display form of the mark 42A or the like of the camera 12A or the like that captured the image in the display data 41 of FIG. 4B may be different from the other marks by hatching other than hatching.
[0076]
Further, when each of the cameras 12A to 12F in FIG. 1 transmits the image data to the image processing device 13, it is also possible to compress and transmit the data in addition to the non-compression. In the case of performing compression transmission, a compression format in which compression processing is completed within a frame and has high real-time properties, such as DV (digital video) compression, is suitable, and the image processing apparatus 13 uses the AV / C protocol (IEC-61883: The control of each camera 12A and the like is performed based on the standards of the International Electrotechnical Commission. When performing the compression transmission such as the DV compression in this way, it is necessary to provide a decoder in the communication interface 22 of the image processing apparatus 13 or the image processing ASIC 24.
[0077]
Although the image conversion system 10 targets the back camera 12F for retrofitting, the other cameras 12A and the like may be attached and detached later via the network cable 15.
[0078]
Further, the conversion of the image data into the display data is not performed in the form of the conversion table 45 shown in FIG. 5, but based on a pixel conversion unit in which a plurality of pieces of conversion information corresponding to each pixel of the display data are arranged in the scanning order. It may be performed. Each conversion information itself specifies each pixel of the imaging data or the RGB value of the figure data, and by arranging such conversion information in the scanning order, the arrangement position in the display data can be defined.
[0079]
FIG. 12 schematically shows a state in which the contents of the conversion table 45 in FIG. 5 are vertically arranged in the scanning order as conversion information of the pixel conversion means. Since the scanning direction of the display data is from left to right, in the conversion table of FIG. 5, the conversion information of (X, Y) = (0, 0) at the left end of the first row is converted to (X, Y) = The conversion information up to (0, 639) is arranged as conversion information of the pixel conversion means, and further, from the conversion information of (X, Y) = (1, 0) on the left end of the second row, the conversion information on the right end is (X, Y). = (1, 639), and thereafter, the conversion information is similarly arranged at the bottom.
[0080]
Therefore, when performing the same conversion as the conversion table 45, 640 × 480 pieces of conversion information are arranged in the scanning order, and the imaging data is converted into display data in pixel units based on each conversion information. Therefore, at the time of conversion, the conversion information having a one-dimensional structure is independently used instead of the conversion table having a two-dimensional structure which is an aggregate of the conversion information. , Continuous reading and writing can be performed in accordance with the input of, and the processing form can be subdivided. As a result, a memory such as a synchronous DRAM (SDRAM), which cannot be accessed at high speed by burst transfer, can be applied to the conversion table memory 21 shown in FIG. 3, and the cost can be easily reduced.
[0081]
In the actual data structure of the pixel conversion means in which a plurality of pieces of conversion information are arranged, parentheses passing through each piece of conversion information shown in FIG. Also, the contents of one piece of conversion information use the upper bits as identifiers and the lower bits for data. For example, when one piece of conversion information is 32 bits, the upper 8 bits are used as identifiers and the next 24 bits are used as identifiers. The bits will be used for imaging data or figure data. Therefore, in this case, the data of the 32-bit conversion information has a continuous data structure as described above.
[0082]
The conversion table memory 21 is formed with a dual structure of an EEPROM having a low access speed and a RAM capable of high-speed access in consideration of the access speed to various data, and performs image conversion processing according to the access speed. It may be.
[0083]
【The invention's effect】
As described in detail above, in the first invention, the eighth invention, and the tenth invention, the converted display data is added with the vehicle drawing data marked with the mounting position of the imaging device. Therefore, the number and position of the imaging devices attached to the vehicle can be grasped at a glance.
According to the second aspect, in order to make a mark corresponding to the imaging device that has captured the image displayed on the monitor device different from other marks, the imaging device that has captured the display image due to the difference in the display form of the mark can be easily provided. Can be confirmed.
[0084]
According to the third aspect of the present invention, the image pickup device to be retrofitted is detected and the conversion table including the drawing data with the mark attached to the retrofitted image capture device is generated. The image can be automatically displayed in the same manner as the mark of the imaging device attached from the beginning, and the retrofit imaging device can be smoothly incorporated into the system without changing the image conversion processing device.
[0085]
According to the fourth aspect, since the conversion is performed based on the conversion table including the conversion information including the identifier that defines the arrangement of the drawing data or the imaging data, the content of the identifier is confirmed to facilitate the determination processing relating to the data arrangement. It can be carried out.
[0086]
In the fifth invention, the ninth invention, and the eleventh invention, since the conversion table for the imaging data of the detected retrofitted imaging device is generated, the conversion table is not changed without changing the hardware or the like of the image processing device. The imaging data of the attached imaging device can be easily converted to display data.
[0087]
According to the sixth aspect, by connecting the imaging device and the image processing device with a network cable, data can be communicated based on various standards such as LAN.
According to the seventh aspect, by performing conversion of display data in accordance with a plurality of pieces of conversion information corresponding to each pixel, reading and writing can be performed in units of each piece of conversion information, and quick conversion processing is performed. be able to.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of an image conversion system according to an embodiment of the present invention.
FIG. 2 is a schematic view showing a mounting position of a camera on a vehicle.
FIG. 3 is a block diagram illustrating a configuration of an image processing apparatus.
FIG. 4A is a diagram illustrating an example of imaging data, and FIG. 4B is a diagram illustrating an example of display data.
FIG. 5 is a diagram showing an example of the contents of a conversion table.
FIG. 6 is a diagram illustrating the number of pixels of imaging data.
FIG. 7A is a diagram illustrating another example of image pickup data, and FIG. 7B is a diagram illustrating another example of display data.
FIG. 8 is a diagram showing another example of display data.
FIG. 9 is a diagram showing diagram data of a vehicle without a back camera attached.
FIG. 10 is a first flowchart according to the processing of the present invention.
FIG. 11 is a second flowchart according to the processing of the present invention.
FIG. 12 is a schematic diagram showing a state in which conversion information is arranged in the vertical direction in the scanning order of display data.
FIG. 13 is a diagram showing an example of a conventional display data image.
[Explanation of symbols]
10. Image conversion system
12A-12F each camera
13 Image processing device
14 Monitor device
21 Conversion table memory
23 Microcomputer
29 Operation unit
40, 46 Imaging data
41, 47, 48 Display data
42 Figure data
42A-42F mark
S vehicle

Claims

In an image conversion system that connects an imaging device attached to a vehicle and an image processing device that converts imaging data captured by the imaging device into display data,
The image processing device includes:
It includes diagram data of the vehicle with the mark attached to the mounting position of the imaging device, a conversion table that defines the layout position in the display data of the diagram data and the imaging data,
A conversion unit configured to convert the image data into the display data to which the drawing data is added, based on the conversion table.

A plurality of the imaging devices;
The conversion table,
2. The image conversion system according to claim 1, further comprising a unit configured to make a mark corresponding to a mounting position of the imaging device that captured the imaging data to be converted different from a mark corresponding to the mounting position of another imaging device. 3.

The image processing apparatus further includes:
Mounting means for mounting an external imaging device;
Detection means for detecting whether an external imaging device is attached to the attachment means,
And a conversion table generation unit configured to generate the conversion table including drawing data in which the detected mounting position of the external imaging device is marked when the detection unit detects the external imaging device. The image conversion system according to claim 2.

The conversion table,
Including conversion information for each pixel of the display data,
The conversion information,
The image conversion system according to any one of claims 1 to 3, wherein the image conversion system includes an identifier that specifies an arrangement of the drawing data or the imaging data.

In an image conversion system that connects an imaging device attached to a vehicle and an image processing device that converts imaging data captured by the imaging device into display data,
The conversion is performed based on a conversion table including conversion information corresponding to each pixel of the imaging data,
Mounting means for mounting an external imaging device;
Detection means for detecting whether an external imaging device is attached to the attachment means,
An image conversion system comprising: a conversion table generating unit configured to generate a conversion table for imaging data of the detected external imaging device when the detection unit detects the external imaging device.

The image conversion system according to claim 1, further comprising a network cable connecting the imaging device and the image processing device.

In an image conversion system including an image processing device that converts image data into display data,
Pixel conversion means including a plurality of pieces of conversion information for each pixel of the display data, in which the arrangement position of each pixel of the image data in the display data is defined, in a scanning order of the display data,
A conversion unit configured to convert the image data into display data having a changed pixel arrangement based on the pixel conversion unit.

In an image processing device that converts imaging data into display data,
A conversion table that includes diagram data marked with the position of the imaging source of the imaging data, and defines a layout position in the display data of the diagram data and the imaging data,
An image processing apparatus comprising: a conversion unit configured to convert the image data into the display data to which the drawing data is added, based on the conversion table.

In an image processing device that converts imaging data into display data,
The conversion is performed based on a conversion table including conversion information corresponding to each pixel of the imaging data,
Detecting means for detecting an imaging device for imaging the imaging data;
An image processing apparatus comprising: a conversion table generating unit configured to generate a conversion table for imaging data of a detected imaging device when the detection unit detects the imaging device.

In an image conversion method of capturing an image with an imaging device attached to a vehicle and converting captured data of the captured image into display data,
It includes a diagram data of the vehicle with a mark attached to the mounting position of the imaging device, comprising a conversion table that defines the arrangement position in the display data of the diagram data and the imaging data,
An image conversion method, wherein the imaging data is converted into the display data to which the drawing data is added, based on the conversion table.

In an image conversion method of capturing an image with an imaging device attached to a vehicle and converting captured data of the captured image into display data,
The conversion is performed based on a conversion table including conversion information corresponding to each pixel of the imaging data,
A mounting means for mounting an external imaging device,
Detecting whether an external imaging device is attached to the attachment means,
When the detecting means detects the external imaging device, a conversion table for imaging data of the detected external imaging device is generated.