JP2005184395A - 画像処理方法、画像処理システム、画像処理装置および撮影装置 - Google Patents

Abstract

【課題】 車両の走行状況に係る情報に基づいて、カメラなどの撮影装置から入力された画像データに対して複数の処理の内のいずれかの処理を選択して実行することにより、撮影装置から入力された画像データを、車両の走行状況に適した画像データに変換することができる画像処理方法および画像処理システムなどを提供する。
【解決手段】 判定部１５は、車速信号およびシフトレバー信号に基づいて、後方監視カメラ３３で撮影した画像データの解像度とフレームレートとを変更すべく判定する。また、画像処理部１７は、判定部１５の判定に基づいて、鳥瞰表示処理１７ａ、ガイド線表示処理１７ｂ、ハフ変換処理１７ｃ、車線抽出処理１７ｄから一または複数の処理を選択して処理を行う。つまり、画像処理部１７は、車両の走行状況に基づいて、画像データに対する処理を自動的に選択し、複数の異なった映像を表示装置に表示することができる。
【選択図】 図３

Description

本発明は、画像処理方法、画像処理システム、画像処理装置および撮影装置に関する。より具体的には、車両の走行状況に基づいて、カメラなどの撮影装置から入力された画像データに対する処理を、自動的に選択することができる画像処理方法、画像処理システム、画像処理装置、加えて、車両の走行状況に基づいて、撮影装置が出力する画像データの解像度またはフレームレートを変更し、撮影装置から出力される画像データのデータ量を適正化することができる画像処理方法、画像処理システムおよび撮影装置に関する。

近年、自動車などの車両に各種の車載機器を搭載し、種々の情報を処理するシステムが普及している。例えば、ＴＶチューナ、ビデオ機器、ナビゲーション機器などの情報出力装置、および液晶ディスプレイ、ＣＲＴディスプレイなどの表示装置を車両に搭載し、それら情報出力装置が生成した画像データに係る映像を表示装置に表示する構成としたシステムが普及している。また、前述した車載機器のほかに、インターネット網に接続可能な携帯電話、ＰＤＡのような情報端末機器、ＤＶＤ機器、ゲーム機器のようなＡＶ機器などが車内に搭載されるようになってきており、今後、更に数多くの車載機器の搭載が見込まれている。しかし、前述した各種車載機器を車内に設置する場合、各車載機器間毎に配線を施す必要があるために配線の増加を招くという問題があった。

そこで、自動車などの車両においても、配線数の低減、および大容量のデータ通信を高速化する目的で、ＬＡＮを構築して制御信号、画像データ、音声信号などの各種信号をＬＡＮにより通信（送受信）することができるシステムが提案されている。

また、車両に複数のカメラを適宜配置し、配置したカメラと表示装置との間でＬＡＮを構築し、各カメラが撮影して生成した画像データをストリーム形式の信号（映像ストリーム）に変換し、変換した画像データを、通信線を介して表示装置へ送出する拡張性に優れたシステムが提案されている（例えば、特許文献１参照）。
特開２００３−１６３９２６号公報

ところで、車両に配置された各カメラは、例えば、前方を撮影する目的で設置されるもの、後方を撮影する目的で設置されるものなど、その設置場所によって目的が異なるのが一般的である。そのため、車両には複数のカメラが設置され、システムの構成が複雑化してしまい、コストも増加する問題がある。

また、非圧縮映像に係る画像データは、解像度が６４０×４８０（ＶＧＡ），フレームレートが３０フレーム／秒（ｆｐｓ）の場合で略１５０Ｍｂｐｓ、解像度が３２０×２４０（ＱＶＧＡ），フレームレートが３０ｆｐｓの場合で略３７．５Ｍｂｐｓのデータ量を有している。従って、複数の画像データを伝送すると、通信に必要な帯域が不足する虞がある。さらに、光ファイバケーブルを介してデータを送受信する場合、データ量が２００Ｍｂｐｓ程度であればＬＥＤを送受信装置（通信部）に利用できるが、４００Ｍｂｐｓ以上のデータ量ではレーザダイオードを用いる必要があるためにコストが増加する問題がある。

本発明は斯かる事情に鑑みてなされたものであり、車両の走行状況に係る情報に基づいて、カメラなどの撮影装置から入力された画像データに対して複数の処理の内のいずれかの処理を選択して実行することにより、撮影装置から入力された画像データを、車両の走行状況に適した画像データに変換することができる画像処理方法、画像処理システムおよび画像処理装置の提供を目的とする。

また本発明は、車両の走行状況に係る情報に基づいて、カメラなどの撮影装置が出力する画像データの解像度またはフレームレートを変更することにより、撮影装置から出力される画像データのデータ量を適正化させ、通信帯域を効率良く利用することができる画像処理方法、画像処理システムおよび撮影装置の提供を目的とする。

第１発明に係る画像処理方法は、車両に搭載された撮影装置から出力された前記車両の周辺を撮影した画像データに対して、複数の処理の内のいずれかの処理を施し、処理した画像データを前記車両に搭載された表示装置へ出力する画像処理装置の画像処理方法において、前記画像処理装置は、前記車両の走行状況に係る情報を受付け、受付けた情報に基づいて、前記撮影装置が撮影して出力した画像データに対する処理を前記複数の処理の内から選択することを特徴とする。

第２発明に係る画像処理方法は、第１発明において、前記画像処理装置は、前記受付けた情報に基づいて、前記撮影装置が出力する画像データの解像度またはフレームレートを指示する指示情報を生成し、生成した指示情報を前記撮影装置へ送出し、前記撮影装置は、前記画像処理装置から送出された指示情報に応じて、撮影した画像データの解像度またはフレームレートを変更し、変更された画像データを前記画像処理装置へ出力することを特徴とする。

第３発明に係る画像処理方法は、第１発明または第２発明において、前記車両の走行状況に係る情報は、車両の速度情報または車両の前進あるいは後退を示す情報を含むことを特徴とする。

第４発明に係る画像処理システムは、車両の周辺を撮影する撮影装置と、映像を表示する表示装置と、前記撮影装置が撮影して出力した画像データに対して複数の処理の内のいずれかの処理を施し、処理した画像データを前記表示装置へ出力する画像処理装置とが車両に搭載された画像処理システムにおいて、前記画像処理装置は、前記車両の走行状況に係る情報を受付ける手段と、受付けた情報に基づいて、前記撮影装置が撮影して出力した画像データに対する処理を前記複数の処理の内から選択する手段とを備えることを特徴とする。

第５発明に係る画像処理システムは、第４発明において、前記画像処理装置は、前記受付けた情報に基づいて、前記撮影装置が出力する画像データの解像度またはフレームレートを指示する指示情報を生成する手段と、生成した指示情報を前記撮影装置へ送出する手段とを備え、前記撮影装置は、前記画像処理装置から送出された指示情報に応じて、撮影した画像データの解像度またはフレームレートを変更する手段と、変更された画像データを前記画像処理装置へ出力する手段とを備えることを特徴とする。

第６発明に係る画像処理装置は、車両に搭載され、該車両の周辺を撮影する撮影装置が撮影した画像データに対して複数の処理の内のいずれかの処理を施す画像処理装置において、前記車両の走行状況に係る情報を受付ける手段と、受付けた情報に基づいて、前記画像データに対する処理を前記複数の処理の内から選択する手段とを備えることを特徴とする。

第７発明に係る撮影装置は、周辺を撮影した画像データを出力する撮影装置において、外部から、出力する画像データの解像度またはフレームレートの指示を受付ける手段と、受付けた指示に応じて、画像データの解像度またはフレームレートを変更する手段とを備えることを特徴とする。

第１発明および第４発明にあっては、画像処理装置は、車両の走行状況に係る情報を受付け、受付けた情報に基づいて、撮影装置が撮影して出力した車両周辺の画像データに対する処理を複数の処理の内から選択する。そして、画像処理装置は、処理した画像データを表示装置へ出力して画像データに係る映像を表示する。これにより、撮影装置から入力された画像データを、車両の走行状況に適した画像データに変換することができる。また、一の撮影装置が撮影した画像データから、複数の異なった映像を表示装置に表示することができるため、車両に搭載する撮影装置の個数を削減して、システム構成の簡略化およびコストの削減が可能となる。

第２発明および第５発明にあっては、画像処理装置は、受付けた車両の走行状況に係る情報に基づいて、撮影装置が出力する画像データの解像度またはフレームレートを指示する指示情報を生成し、生成した指示情報を撮影装置へ送出する。そして、撮影装置は、画像処理装置から送出された指示情報に応じて、撮影した画像データの解像度またはフレームレートを変更し、変更した画像データを画像処理装置へ出力する。これにより、撮影装置から出力される画像データのデータ量を適正化させ、通信帯域を効率良く利用することができる。

第３発明にあっては、車両の速度情報または車両の前進あるいは後退を示す情報を含む車両の走行状況に係る情報に基づいて、画像処理装置は、撮影装置が撮影して出力した車両周辺の画像データに対する処理を複数の処理の内から選択する。また、車両の速度情報または車両の前進あるいは後退を示す情報を含む車両の走行状況に係る情報に基づいて、撮影装置は、撮影した画像データの解像度またはフレームレートを変更し、変更した画像データを画像処理装置へ出力する。車両の速度または車両の前進あるいは後退を示す情報は、車両の走行状況を示す基本的な情報であるから、これら情報に基づいて、画像処理装置における画像データに対する処理の選択と、撮影装置が出力する画像データの解像度またはフレームレートの変更とを行う。

第６発明にあっては、画像処理装置は、車両の走行状況に係る情報を受付け、受付けた情報に基づいて、撮影装置が撮影して出力した画像データに対する処理を複数の処理の内から選択する。これにより、撮影装置から入力された画像データを、車両の走行状況に適した画像データに変換することができる。

第７発明にあっては、撮影装置は、外部から、周辺を撮影して出力する画像データの解像度またはフレームレートの指示を受付け、受付けた指示に応じて、画像データの解像度またはフレームレートを変更する。これにより、撮影装置から出力される画像データのデータ量を適正化させ、通信帯域を効率良く利用することができる。

本発明によれば、車両の走行状況に係る情報に基づいて、撮影装置から入力された画像データに対して複数の処理の内のいずれかの処理を選択して実行することにより、撮影装置から入力された画像データを、車両の走行状況に適した画像データに変換することができる。換言すれば、一の撮影装置が撮影した画像データから、複数の異なった映像を表示装置に表示することができるため、車両に搭載する撮影装置の個数を削減して、システム構成を簡略化してコストを削減することができる。

また本発明によれば、車両の走行状況に係る情報に基づいて、撮影装置が出力する画像データの解像度またはフレームレートを変更することにより、撮影装置から出力される画像データのデータ量を適正化させ、通信帯域を効率良く利用することができる。従って、通信線（光ファイバ、シールドメタルケーブルなど）を安価にすることができ、特に、光ファイバケーブルを介してデータを送受信する場合、ＬＥＤを送受信装置に利用できるため、システム全体のコストを抑制することができる等、優れた効果を奏する。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。

図１は本発明に係る画像処理装置が接続された態様の画像処理システムの構成を示すブロック図である。図中１は自動車などの車両であり、車両１の内部に、本発明に係る画像処理装置１０、表示装置２０、前方監視カメラ３１、側方監視カメラ３２ａ，３２ｂ、後方監視カメラ３３などの車載機器を備えており、それらの車載機器を２台の中継装置（例えばハブユニット）に相当する中継器４０ａ，４０ｂに分散させて接続するとともに、中継器４０ａ，４０ｂをＩＥＥＥ１３９４の通信規格に準拠した通信線２で接続されている。

一方の中継器４０ａは、例えば、車両１のダッシュボード近傍に設置されており、画像処理装置１０、前方監視カメラ３１、側方監視カメラ３２ａ，３２ｂが接続される。他方の中継器４０ｂは、例えば、車両１のリアトランク内部に設置されており、後方監視カメラ３３が接続される。

前方監視カメラ３１は、例えば、車両１の車室内のフロントガラス近辺（例えばバックミラー近辺）に設置されており、車両１の前方を撮影して画像データを生成して出力する。側方監視カメラ３２ａ，３２ｂは、例えば、車両１の左右のサイドフェンダーに設置されており、車両１の側方を撮影して画像データを生成して出力する。後方監視カメラ３３は、例えば、車両１の車室内のリアガラス近辺に設置されており、車両１の後方を撮影して画像データを生成して出力する。

表示装置２０は、液晶ディスプレイ、ＣＲＴディスプレイなどであり、ダッシュボードの近傍に設置される。表示装置２０は、画像処理装置１０に接続されており、画像処理装置から送出される画像データに係る映像の表示を行う。また、画像処理装置１０には、車両状態検出部３が接続されており、車両状態検出部３は、車両１の車速、シフトレバーの設定状態（レンジ位置）、ステアリングの舵角などを検出し、車速信号、シフトレバー信号、舵角信号などの車両の走行状況に係る信号（車両状態信号）を出力する機能を有する。すなわち、車両状態検出部３は、車両１の速度情報、車両１の前進あるいは後退を示す情報を検出し、検出した情報を車速信号、シフトレバー信号として画像処理装置１０へ送出する。なお、車両１の前進、後退については、ボディＥＣＵを介してバックランプへの印加電圧を検出することにより判定することができる。

中継器４０ｂは、後方監視カメラ３３から出力された画像データを受信するとともに、信号線２を介して中継器４０ａへ送信する。中継器４０ａは、前方監視カメラ３１または側方監視カメラ３２ａ，３２ｂから出力された画像データを受信するとともに、画像処理装置１０へ送信する。さらに、中継器４０ａは、中継器４０ｂから送出された画像データを、信号線２を介して受信し、画像処理装置１０へ送信する。このようにして、複数の画像データを多重化してシステム内を伝送させることが可能になる。

図２は本発明に係る後方監視カメラの構成を示すブロック図である。なお、前方監視カメラ３１および側方監視カメラ３２ａ，３２ｂの構成については、後方監視カメラ３３の構成と同様である。後方監視カメラ３３は、制御部３４、撮像部３５、信号処理部３６、画像メモリ３７、伝送モード変更部３９、通信部３８を備えている。制御部３４は、具体的にはＣＰＵで構成されており、バスを介して上述したようなハードウェア各部と接続されていて、それらを制御すると共に、種々のソフトウェア的機能を実行する。

撮像部３５は、例えば、画素をマトリクス状に配列したエリア型のＣＣＤ、ＣＭＯＳなどの半導体素子であり、各画素はフォトダイオードを内蔵しており、外部から入射された光を、その入射光の強度に応じた電圧を有するアナログ形式の画像データ（以下、アナログ画像データ）に変換し、アナログ画像データを信号処理部３６へ出力する。

信号処理部３６は、クランプ回路３６ａ、ガンマ補正回路３６ｂ、ホワイトクリップ回路３６ｃ、輪郭補正回路３６ｄ、鏡像反転回路３６ｅ、映像フォーマット変換回路３６ｆを備えている。クランプ回路３６ａは、撮像部３５から入力されたアナログ画像データの低周波成分を再生し、低周波ノイズを除去する回路であり、ホワイトクリップ回路３６ｃは、撮像部３５の入力レベルが大きい場合に、入力レベルを減衰させて信号振幅を最適化（制限）する回路である。

ガンマ補正回路３６ｂは、アナログ画像データのガンマ特性を補正する回路であり、輪郭補正回路３６ｄは、垂直輪郭および水平輪郭を強調して映像全体の鮮明度を向上させる回路である。鏡像反転回路３６ｅは映像を適宜反転する回路であり、機能をオンさせることにより、映像を反転させてバックミラーに映る映像と同一の映像を有するアナログ画像データを出力することができる。なお、前方監視カメラ３１および側方監視カメラ３２ａ，３２ｂに対しては、機能をオンさせる必要性はないため、鏡像反転回路３６ｅが備えられていなくてもよい。

映像フォーマット変換回路３６ｆは、上述した各種の回路により調整されたアナログ画像データをデジタル画像データ（ＹＵＶ形式）に変換する回路であり、変換したデジタル画像データを通信部３８へ出力する。ここで、Ｙ、Ｕ、Ｖは、輝度成分Ｙ、色差成分Ｒ−Ｙ、色差成分Ｂ−Ｙのことである。なお、映像フォーマット変換回路３６ｆにて、例えば、ＭｏｔｉｏｎＪＰＥＧ（ＹＵＶ＝４：２：２）形式、ＭＰＥＧ（ＹＵＶ＝４：２：０）形式などのように、データ圧縮を行ってもよい。

画像メモリ３７は、信号処理部３６による処理の実行中に生成されるデータ、通信部３８を通じて入力および出力されるデータを一時的に記憶する機能を有する。なお、画像メモリ３７としては、一般的なＤＲＡＭであってもよいが、バスクロックに同期させ、１クロックにつき１データを読み出すことができるＳＤＲＡＭなどを用いて処理を高速化することが好ましい。

伝送モード変更部３９は、画像処理装置１０から受け取った制御コマンドに基づいて、信号処理部３６にて処理した画像データの解像度およびフレームレート変換などの処理を行う機能を有する（詳細は後述する）。

通信部３８は、物理層機能、データリンク層機能、プロトコル処理を行うトランザクション層機能を有しており、伝送モード変更部３９から入力された画像データを、ＩＥＥＥ１３９４バスストリームなど映像ストリームに変換して中継器４０ｂへ送信する。もちろん、通信部３８に画像データの送信をオン／オフする機能を備えるようにしてもよい。なお、画像処理装置１０と各監視カメラ３１，３２ａ，３２ｂ，３３との通信プロトコルとしては、例えば「1394-based IIDC Digital Camera Specification Ver.1.30」（以下、ＩＩＤＣプロトコル）であり、以下、ＩＩＤＣプロトコルの場合について説明する。

図３は本発明に係る画像処理装置の構成を示すブロック図である。本発明に係る画像処理装置１０は、ＣＰＵなどの制御中枢である制御部１３が直接的に接続するシステムバス１１と、制御部１３が直接的には接続していないローカルバス１２を有している。制御部１３は、システムバス１１を介して入力部１４、判定部１５、通信部１６、画像処理部１７に接続されている。一方、ローカルバス１２には、通信部１６、画像処理部１７が接続されており、通信部１６にて受信した画像データを処理する場合に、このローカルバス１２を介して画像処理部１７へ出力することにより、処理を高速化できるようになしてある。もちろん、各部のバス接続形態はこれに限定されるものではない。

制御部１３は、入力部１４に入力された信号に基づいてシステムの状態遷移管理を行い、画像処理部１７にて行う画像処理を複数の処理の内から選択する機能を有している。また、制御部１３は、ＩＩＤＣプロトコル処理も行い、システムの状態遷移に応じて各カメラに対して制御コマンドを送信する機能を有する。

入力部１４は、車両状態検出部３から、車速信号、シフトレバーの設定状態（レンジ位置）を示すシフトレバー信号などの車両状態信号を入力するためのインタフェイスである。判定部１５は、入力部１４に入力された車速信号およびシフトレバー信号に基づいて、画像処理部１７にて行う処理を複数の処理の内のいずれにするべきかを判定する。

複数の処理とは、例えば、主に車両１を駐車する場合に、後方の様子が使用者にわかりやすくするための駐車アシスト処理、主に一般道路または高速道路を走行する場合に、走行車線を認識して使用者を補助するためのレーンモニタリング処理、などのことである。以下、上述した２つの処理を、車速信号およびシフトレバー信号に基づいて選択するものとして説明する。

さらに詳述すれば、駐車アシスト処理には、映像の変化を利用者に知らしめる必要があるため、解像度よりもフレームレートを優先した画像データが要求される。一方、レーンモニタリング処理には、ガイド線（対向車線、側道線など）の位置を高精度で検出する必要があるため、フレームレートよりも解像度を優先した画像データが要求される。

そこで、以下、駐車アシスト処理の場合には、解像度が３２０×２４０、フレームレートが３０ｆｐｓの画像データを伝送させ、レーンモニタリング処理の場合には、解像度が６４０×４８０、フレームレートが７．５ｆｐｓの画像データを伝送させることとする。このように処理毎に適した解像度およびフレームレートを有する画像データを伝送させることにより、いずれの処理の場合でもデータ量を適正化することができ、通信帯域を効率良く利用することができる。なお、レーンモニタリング処理の場合には、カルマンフィルタなどの予測フィルタを用いて、フレーム間の補間処理（補正）を行うようにしてもよい。

判定部１５は、車速信号が１０ｋｍ／ｈ以下を示し、かつシフトレバー信号がリバースギアを示す場合には、後方監視カメラ３３で撮影した画像データの解像度を３２０×２４０に、フレームレートを３０ｆｐｓに変更すべく判定する。一方、判定部１５は、車速信号が１０ｋｍ／ｈ以上を示し、かつシフトレバー信号がドライブギアを示す場合には、後方監視カメラ３３で撮影した画像データの解像度を６４０×４８０に、フレームレートを７．５ｆｐｓに変更すべく判定する。なお、判定部１５は、所定の時間（例えばシステムのクロック時間）毎に判定を行って、上述した条件に合致する場合に処理の選択（切り替え）を行い、合致しない場合は当該処理を継続するようにする。

通信部１６は、物理層機能、データリンク層、プロトコル処理を行うトランザクション層機能を有している。制御部１３は、判定部１５による判定に基づいて制御コマンドを生成し、生成した制御コマンドを、後方監視カメラ３３へ送信する。これにより、制御コマンドを受け取った後方監視カメラ３３は、制御コマンドに従って、解像度、フレームレート変換などの処理を行うことができる。つまり、後方監視カメラ３３は、車速信号が１０ｋｍ／ｈ以下、かつシフトレバー信号がリバースギアである場合、伝送モード変更部３９にて、撮像部３５で撮影した画像データの解像度を３２０×２４０に、フレームレートを３０ｆｐｓに変更する。一方、車速信号が１０ｋｍ／ｈ以上、かつシフトレバー信号がドライブギアである場合、伝送モード変更部３９にて、後方監視カメラ３５で撮影した画像データの解像度を６４０×４８０に、フレームレートを７．５ｆｐｓに変更する。

また、通信部１６は、通信線を介して受信した映像ストリーム形式の画像データをＹＵＶ形式などのデジタル形式の画像データに変換し、ローカルバス１２を介して画像処理部１７へ出力する。画像データは複数のチャネル（ＩＥＥＥ１３９４では６３チャネル）により多重化されているが、通信部１６は、チャネル毎にパケットを選別して、カメラ毎の映像ストリーム形式の画像データをデジタル形式の画像データに変換する。

画像処理部１７は、制御部１３からの制御コマンドに基づいて、鳥瞰表示処理１７ａ、ガイド線表示処理１７ｂ、ハフ変換処理１７ｃ、車線抽出処理１７ｄなどの処理を行う機能を有する。

鳥瞰表示処理１７ａは、フレーム（映像フレーム）を、視点を変更した新たなフレームにすべく、画像データの各画象を写像する処理のことである。各カメラは車両に搭載されているため、その視点は固定されているが、鳥瞰表示処理１７ａを行うことにより、例えば上空から見下ろしたような映像を表示することができる。

ガイド線表示処理１７ｂは、画像処理装置１０に入力された車速信号、シフトレバー信号、舵角信号などの車両状態信号に基づいて、車両１の進行予測曲線を算出し、画像処理された画像データに対して、進行予測曲線を合成する処理である。

ハフ変換処理１７ｃは、画像データによって構成される線分が連結していない場合であっても、画像のコントラストから車線の輪郭（エッジ）を微分処理によって抽出し、線分および点の幅、長さ、連続性などの特徴を解析して線分を抽出する処理である。

車線抽出処理１７ｄは、ハフ変換処理１７ｃにより抽出された線分が車線であるかを判断して車線を抽出する処理である。例えば、対象の形状（長さ、角度など）および位置関係を特徴としてテンプレートを予め作成しておき、フレーム内で最も類似（マッチング）した形状パターンを抽出する。

画像処理部１７が実行する処理は、判定部１５の判定に基づいて、画像処理の内容が一意に決定される。つまり、車速信号が１０ｋｍ／ｈ以下、かつシフトレバー信号がリバースギアである場合、画像処理部１７は、後方監視カメラ２３から受け取った画像データに対して、鳥瞰表示処理１７ａとガイド線表示処理１７ｂとを行う。一方、車速信号が１０ｋｍ／ｈ以上、かつシフトレバー信号がドライブギアである場合、画像処理部１７は、後方監視カメラ３３から受け取った画像データに対して、鳥瞰表示処理１７ａとハフ変換処理１７ｃと車線抽出処理１７ｄとを行う。これにより、車両１の走行状況に基づいて、画像処理を自動的に選択することができる。そして、画像処理がなされた画像データはＲＧＢアナログ信号などのフォーマットに変換され、出力部１８から表示装置２０へ出力され、画像データに係る映像が表示装置２０の画面に表示される。

また、画像処理部１７には、画像メモリ１９が接続されており、画像処理部１７による処理の実行中に生成されるデータを一時的に記憶する。もちろん、画像メモリ１９は、一般的なＤＲＡＭであってもよいが、遅延なき表示が要求されるため、ＳＤＲＡＭなどを用いて処理を高速化することが好ましい。

図４および図５は、本発明に係る画像処理システムの動作フローの概要を示すフローチャートである。なお、動作フローは一例であり、これに限定されるものではない。また、このような動作フローは制御部１３に内蔵した図示しないＲＯＭへ予めコンピュータプログラムを組み込んでおくことにより行うことができる。

先ず、画像処理装置１０は、入力部１４から車両１の車両状態信号（車速信号およびシフトレバー信号）の入力を受付ける（ステップＳ１）。そして、画像処理装置１０は、受付けた車速信号が１０ｋｍ／ｈ以上、かつシフトレバー信号がドライブギアであるか否かを判定部１５にて判定する（ステップＳ２）。車速信号が１０ｋｍ／ｈ以上、かつシフトレバー信号がドライブギアであると判定した場合（Ｓ２：ＹＥＳ）、画像処理装置１０は、撮像部３５で撮影した画像データを、解像度を６４０×４８０に、フレームレートを７．５ｆｐｓにすべく規定した制御コマンド（コマンドＡ）を生成し（ステップＳ３）、生成したコマンドＡを通信部１６から後方監視カメラ３３へ送出する（ステップＳ４）。

一方、Ｓ２にて、車速信号が１０ｋｍ／ｈ以上、かつシフトレバー信号がドライブギアでないと判定した場合（Ｓ２：ＮＯ）、画像処理装置１０は、受付けた車速信号が１０ｋｍ／ｈ以下、かつシフトレバー信号がバックギアであるか否かを判定部１５にて判定する（ステップＳ５）。車速信号が１０ｋｍ／ｈ以下、かつシフトレバー信号がバックギアであると判定した場合（Ｓ５：ＹＥＳ）、画像処理装置１０は、撮像部３５で撮影した画像データを、解像度を３２０×２４０に、フレームレートを３０ｆｐｓにすべく規定した制御コマンド（コマンドＢ）を生成し（ステップＳ６）、生成したコマンドＢを通信部１６から後方監視カメラ３３へ送出する（ステップＳ７）。一方、Ｓ５にて、車速信号が１０ｋｍ／ｈ以下、かつシフトレバー信号がバックギアでないと判定した場合（Ｓ５：ＮＯ）、画像処理装置１０は動作をＳ１へ戻す。

後方監視カメラ３３は、画像処理装置１０から送出された制御コマンドに基づいて、撮像部３５で撮影した画像データを、伝送モード変更部３９にて、解像度とフレームレートとを変更する（ステップＳ８）。すなわち、制御コマンドがコマンドＡである場合には、撮像部３５で撮影した画像データを、解像度を６４０×４８０に、フレームレートを７．５ｆｐｓに変更する。一方、制御コマンドがコマンドＢである場合には、撮像部３５で撮影した画像データを、解像度を３２０×２４０に、フレームレートを３０ｆｐｓに変更する。そして、後方監視カメラ３３は、解像度とフレームレートとを変更した画像データに係る映像ストリームを画像処理装置１０へ送出する（ステップＳ９）。

画像処理装置１０は、通信部１６に入力された映像ストリームを、チャネル毎にパケットを選別して、映像ストリームをＹＵＶ形式などのデジタル形式の画像データに変換する（ステップＳ１０）。そして、画像処理装置１０は、Ｓ３またはＳ６にて生成した制御コマンドが、コマンドＡまたはコマンドＢのいずれであるかを判定する。すなわち、制御コマンドがコマンドＡであるか否かを判定し（ステップＳ１１）、制御コマンドがコマンドＡであると判定した場合（Ｓ１１：ＹＥＳ）、画像処理装置１０は、画像処理部１７にて、画像データに対して鳥瞰表示処理１７ａとガイド線表示処理１７ｂとを実行させる（ステップＳ１２）。そして、画像処理装置１０は、処理した画像データを出力部１８から表示装置２０へ出力する（ステップＳ１３）。これにより、車両１の後方の映像が表示装置２０に表示される。

一方、Ｓ１１にて、制御コマンドがコマンドＡでないと判定した場合（Ｓ１１：ＮＯ）、制御コマンドはコマンドＢとなるから、画像処理装置１０は、画像処理部１７にて、画像データに対して鳥瞰表示処理１７ａとハフ変換処理１７ｃとを実行させる（ステップＳ１４）。そして、画像処理装置１０は、処理した画像データを出力部８から表示装置３０へ出力する（ステップＳ１５）。

また、画像処理装置１０は、画像処理部１７にて、ハフ変換処理１７ｃがなされた画像データに対して車線抽出処理１７ｄを実行させる（ステップＳ１６）。そして、画像処理装置１０は、カメラの設置位置、設置角度などのパラメータなどに基づいて車両１の位置を算出し（ステップＳ１７）、車両１が車線を逸脱しているか否かを判定する（ステップＳ１８）。そして、車両１が車線を逸脱していると判定した場合（Ｓ１８：ＹＥＳ）、制御部１３は、警告を示す警告信号を、出力部１８から表示装置２０へ出力する（ステップＳ１９）。これにより、警告画面が表示装置２０に表示される。なお、警告信号を図示しない音声出力部へ出力することにより、音声による警告を行ってもよい。また、Ｓ１８にて、車両１が車線を逸脱しているか否かを判定するようにしたが、例えば、車両１と車線との距離を算出して、算出した距離が予め定められた数値より小さな値となった場合に、警告信号を出力するようにしてもよい。これにより、車両１が車線を逸脱しているか否かを利用者に報知することができる。

なお、上述した動作フローは、判定部１５が、所定の時間毎に判定を行い、条件（Ｓ２、Ｓ５）に合致する場合に処理の切り替えを行う場合について説明したが、条件に合致しない場合は、Ｓ８〜Ｓ１９の処理を継続するようにする。その場合、制御コマンドがコマンドＡかコマンドＢのいずれであるかを示す情報を、画像処理装置１０および後方監視カメラ３３の両方に記憶（保持）しておき、保持した制御コマンドに基づいて処理を継続するようにする。

以上、上述した如く、画像処理装置１０は、車両１の車両状態信号などの入力に基づいて、システムの状態遷移管理を行い、画像処理部１７で行う画像処理の選択を行うことができる。また、撮影装置である後方監視カメラ３３から出力される映像ストリームの解像度とフレームレートとを、車両状態信号などの入力に基づいて変更することができる。

本発明に係る画像処理装置が接続された態様の画像処理システムの構成を示すブロック図である。 本発明に係る後方監視カメラの構成を示すブロック図である。 本発明に係る画像処理装置の構成を示すブロック図である。 本発明に係る画像処理システムの動作フローの概要を示すフローチャートである。 本発明に係る画像処理システムの動作フローの概要を示すフローチャートである。

符号の説明

１ 車両
１０ 画像処理装置
１１ システムバス
１２ ローカルバス
１３ 制御部
１４ 入力部
１５ 判定部
１６ 通信部
１７ 画像処理部
１８ 出力部
２０ 表示装置
３１ 前方監視カメラ
３２ａ，３２ｂ 側方監視カメラ
３３ 後方監視カメラ

Claims (7)

1. 車両に搭載された撮影装置から出力された前記車両の周辺を撮影した画像データに対して、複数の処理の内のいずれかの処理を施し、処理した画像データを前記車両に搭載された表示装置へ出力する画像処理装置の画像処理方法において、
   前記画像処理装置は、前記車両の走行状況に係る情報を受付け、
   受付けた情報に基づいて、前記撮影装置が撮影して出力した画像データに対する処理を前記複数の処理の内から選択すること
   を特徴とする画像処理方法。
2. 前記画像処理装置は、前記受付けた情報に基づいて、前記撮影装置が出力する画像データの解像度またはフレームレートを指示する指示情報を生成し、
   生成した指示情報を前記撮影装置へ送出し、
   前記撮影装置は、前記画像処理装置から送出された指示情報に応じて、撮影した画像データの解像度またはフレームレートを変更し、
   変更された画像データを前記画像処理装置へ出力すること
   を特徴とする請求項１に記載の画像処理方法。
3. 前記車両の走行状況に係る情報は、車両の速度情報または車両の前進あるいは後退を示す情報を含むこと
   を特徴とする請求項１または請求項２に記載の画像処理方法。
4. 車両の周辺を撮影する撮影装置と、映像を表示する表示装置と、前記撮影装置が撮影して出力した画像データに対して複数の処理の内のいずれかの処理を施し、処理した画像データを前記表示装置へ出力する画像処理装置とが車両に搭載された画像処理システムにおいて、
   前記画像処理装置は、前記車両の走行状況に係る情報を受付ける手段と、
   受付けた情報に基づいて、前記撮影装置が撮影して出力した画像データに対する処理を前記複数の処理の内から選択する手段と
   を備えることを特徴とする画像処理システム。
5. 前記画像処理装置は、前記受付けた情報に基づいて、前記撮影装置が出力する画像データの解像度またはフレームレートを指示する指示情報を生成する手段と、
   生成した指示情報を前記撮影装置へ送出する手段とを備え、
   前記撮影装置は、前記画像処理装置から送出された指示情報に応じて、撮影した画像データの解像度またはフレームレートを変更する手段と、
   変更された画像データを前記画像処理装置へ出力する手段と
   を備えることを特徴とする請求項４に記載の画像処理システム。
6. 車両に搭載され、該車両の周辺を撮影する撮影装置が撮影した画像データに対して複数の処理の内のいずれかの処理を施す画像処理装置において、
   前記車両の走行状況に係る情報を受付ける手段と、
   受付けた情報に基づいて、前記画像データに対する処理を前記複数の処理の内から選択する手段と
   を備えることを特徴とする画像処理装置。
7. 周辺を撮影した画像データを出力する撮影装置において、
   外部から、出力する画像データの解像度またはフレームレートの指示を受付ける手段と、
   受付けた指示に応じて、画像データの解像度またはフレームレートを変更する手段と
   を備えることを特徴とする撮影装置。

Images