JP2020177242A - 車両用カメラモニタシステム及びその制御方法 - Google Patents

Abstract

【課題】ディスプレイに画像を表示するまでの遅延時間を短くする。【解決手段】車両用後写モニタシステム１は、周期的に撮像して第１の画像信号を得るカメラ１０と、ディスプレイ３０と、コントローラ２０と、を備え、前記カメラ１０は、前記第１の画像信号を前記ディスプレイ３０及び前記コントローラ２０に出力し、前記コントローラ２０は、前記第１の画像信号に基づく画像に対して物体の認識処理を行い、前記ディスプレイ３０は、前記第１の画像信号を画像として表示する。【選択図】図２

Description

本発明は、車両用カメラモニタシステムに関する。

車両の外側部に設置されたカメラが車両の後方を撮像し、ディスプレイがカメラによって撮像された画像を画面に表示する技術がある。

一方、カメラによって撮像された画像に基づいて、カメラの撮像範囲内にある物体を認識し、カメラから物体までの距離を算出して、運転者に警告を発する技術が知られている（例えば、特許文献１参照）。

特開平８−４８１９９号公報

発明者は、上述の技術を組み合わせて、カメラによって撮像された車両の後側方を表す画像に物体認識技術の適用を新規に試みた。上述の技術を組み合わせたシステムでは、まず、撮像された画像に基づいて車両の後側方に存在する物体を認識し、その後に、認識した物体の情報を撮像された画像に合成してから表示させる。このとき、認識された物体の情報と画像とがディスプレイに表示される時刻は、物体を認識する処理に起因して、カメラによって該画像が撮像された時刻に対して遅れることになる。車両を運転する運転者は、画像が表示される時刻の遅れによって、交通状況を誤って理解してしまう虞がある。

したがって、物体認識技術を採用した車両用カメラ−モニタシステムには、改善の余地がある。

本開示の１つの態様に係る車両用カメラモニタシステムは、周期的に撮像して第１の画像信号を得るカメラと、ディスプレイと、コントローラと、を備え、前記カメラは、前記第１の画像信号を前記ディスプレイに直接出力し、さらに前記第１の画像信号を前記コントローラに出力し、前記コントローラは、前記第１の画像信号に基づく画像に対して物体の認識処理を行い、前記認識処理によって認識信号を生成し、前記ディスプレイは、前記直接出力された前記第１の画像信号を画像として表示し、前記コントローラから前記認識信号が入力されたときに、前記カメラから入力された前記第１の画像信号に、前記認識信号を合成した合成信号を生成し、前記合成信号が表す合成画像を表示する。

上述の態様によれば、ディスプレイに画像を表示するまでの遅延時間を短くすることが可能となる。

図１は、１つの実施形態における車両用カメラモニタシステムを備える車両の外観を示す側面図である。 図２は、図１に示す車両用カメラモニタシステムの機能ブロック図である。 図３は、歪み補正処理を説明するための画像の模式図である。 図４は、図１に示す車両の内部における運転席周辺を示す図である。 図５は、図１に示すディスプレイが表示する画面の一例を示す図である。 図６は、図１に示すディスプレイが表示する画面の他の例を示す図である。

以下、本開示の複数の実施形態について、図面を参照して説明する。

車両用カメラモニタシステム１は、車両２に搭載される。車両用カメラモニタシステム１は、少なくとも１つのカメラ１０、少なくとも１つのコントローラ２０、及び少なくとも１つのディスプレイ３０を備える。カメラ１０、コントローラ２０、及びディスプレイ３０は、情報を送受信する。カメラ１０、コントローラ２０、及びディスプレイ３０は、通信ケーブル等を介して物理的に接続されてよい。
本開示における「車両」には、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば、車両には、滑走路を走行する飛行機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両には、自転車、車いす、乳母車、手押し車、及び電動立ち乗り２輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモーターを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。カメラモニタシステムは、車両に限られず、船舶、航空機、潜水艇に用いてよい。

カメラ１０は、車両２に対して固定される。カメラ１０は、運転者が交通状況の確認する際に利用される。１つの態様においてカメラ１０は、車両２の後方を向いている。１つの態様においてカメラ１０は、後方にある道路の外側線を含んで撮像されるように向けられる。１つの態様においてカメラ１０は、車両２の側面の外側に固定される。１つの態様においてカメラ１０は、例えば、車両２のフロントドアの外側に固定される。１つの対応においてカメラ１０は、車両２の車内に固定される。１つの態様においてカメラ１０は、運転者から死角となる領域を向いている。１つの態様においてカメラ１０は、車両２の前方を向いている。１つの態様においてカメラ１０は、運転席と反対側の側方を向いている。１つの態様においてカメラ１０は、車両２のショルダーラインから下側を向いている。上述のカメラ１０の向きは、運転者が交通状況の確認するために適宜組み合わせてよい。カメラ１０の向きは、当該向きがカメラ１０の撮像範囲に含まれると言い換えることがある。

カメラ１０は、光学系１１、撮像素子１２、信号処理部１３、及び通信インタフェース１４を備える。カメラ１０は、デジタルカメラと呼ぶことがある。カメラ１０は、振動による像の乱れを軽減させる補正機構を含んでよい。この補正機構には、レンズシフト方式、イメージセンサシフト方式、レンズユニットスイング方式、および電子式が含まれる。複数のカメラ１０は、車両２の右側後方の領域を撮像するカメラ、及び車両２の左側後方の領域を撮像するカメラを含んでよい。カメラ１０は、車両２の中央後方の領域を撮像するカメラを含んでよい。カメラ１０は、車両２に近接する地上領域を撮像するカメラを含んでよい。カメラ１０は、例えば、助手席側側方に位置する近直近（close-proximity）の領域を撮像するカメラをさらに含んでよい。カメラ１０は、車両２の前方に近接する地上領域を撮像するカメラを含んでよい。カメラ１０は、クラスＩからＶのいずれかの視野を撮像するカメラを含んでよい。以降の説明においては、任意の領域を撮像するカメラを単にカメラ１０という。

光学系１１は、該光学系１１に入射した光が撮像素子１２で結像するように集光する。光学系１１は、例えば、魚眼レンズ、超広角レンズで構成されてよい。図２では、光学系１１を模式的に単レンズで図示しているが、光学系１１は、複数枚のレンズで構成されてよい。光学系１１は、焦点距離を変更する機構を含んでよい。光学系１１の焦点距離が変更されると、カメラ１０が撮像した画像の倍率が変更される。光学系１１は、光を反射させる機構を含んでよい。光学系１１は、光の反射によって撮像する方向を変更してよい。光学系１１は、光の反射によって光路を変更してよい。

撮像素子１２は、光学系１１によって集光された結像を撮像する。撮像素子１２は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。撮像素子１２は、複数の光電変換素子を含む。複数の光電変換素子は、例えば格子状に並ぶ。撮像素子１２は、撮像によって結像に対応するアナログ信号を出力する。撮像素子１２は、複数の光電変換素子の一部に対応するアナログ信号を出力してよい。撮像素子１２は、格子状に並ぶ複数の光電変換素子から行単位でアナログ信号を出力してよい。撮像素子１２は、１つの行として並ぶ複数の光電変換素子の一部からアナログ信号を出力してよい。撮像素子１２は、１つの画面に相当するアナログ信号を周期的に出力する。撮像素子１２は、例えば、３０ＦＰＳ（Frames Per Second）、６０ＦＰＳ、１２０ＦＰＳなどの周期で出力する。

信号処理部１３は、一つまたは複数の画像信号を処理するプロセッサを含む。プロセッサは、種々の処理のためのプログラム及び演算中の情報を記憶する１または複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサと独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。制御部１６は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。

信号処理部１３は、１または複数のアナログ信号を量子化してデジタル信号に変換するＡ／Ｄ（Analog/Digital）変換器を含む。信号処理部１３は、結像に対応するアナログ信号をデジタル信号に変換する。信号処理部１３は、デジタル信号を符号化して画像信号を生成してよい。画像信号とは、画像を構成する各画素の画素値、及び画像全体における位置を表す信号である。信号処理部１３は、デジタル信号に変換された画像信号をメモリに記憶してよい。信号処理部１３が符号化する画像信号は、画像規格に準拠してよい。画像規格は、例えば、１９２０列×１０８０行のＨＤ規格、１２８０列×８００行のＷＸＧＡ規格、１２８０列×１０２４行のＳＸＧＡ規格、２５６０列×１６００行のＷＱＸＧＡ規格、および２０４８列×１５３６行のＱＸＧＡ規格を含む。１つの態様において、信号処理部１３は、画像を構成する画素群のうち１行目に位置する画素群から順に行単位でこれらの処理を実行してよい。１つの態様において、信号処理部１３は、撮像素子１２から出力されるアナログ信号をデジタル信号に逐次変換してよい。例えば、撮像素子１２は、格子状に並ぶ複数の光電変換素子から行単位でアナログ信号が出力される場合、当該行単位のアナログ信号を行単位でデジタル信号に変換してよい。

信号処理部１３は、光学系１１の特性によって生じる画像の歪みを補正してよい。本開示では、信号処理部１３が行う画像の歪みの補正の方法について図３（ａ）及び（ｂ）を参照して説明する。本開示では、光学系１１を魚眼レンズで構成した場合に生じる、図３（ａ）に示す樽型の歪みを有する画像を、図３（ｂ）に示す歪みのない画像に補正する方法を例にして説明する。この歪み補正方法は一例であって、信号処理部１３は、この方法に限られることなく任意の方法で画像の歪みを補正することができる。
図３（ａ）及び（ｂ）の模式図で示される画像は、説明を簡易にするために４０行×４０列の画素群から構成されるが、行及び列の数はこれに限られるものではない。図３（ａ）及び（ｂ）の模式図で示される画像は、縦横比が１対１であるが、縦横比はこれに限られない。画像は、例えば、１９２０列×１０８０行のＨＤ規格、１２８０列×８００行のＷＸＧＡ規格、１２８０列×１０２４行のＳＸＧＡ規格、２５６０列×１６００行のＷＱＸＧＡ規格、および２０４８列×１５３６行のＱＸＧＡ規格を含む種々の規格に準拠してよい。
図３（ａ）及び（ｂ）の模式図で示される画像の行及び列の数が同じである。歪み補正の前後の画像は、行及び列の数が異なってよい。信号処理部１３は、歪みを補正する際に、同じ縦横比の画像に変換してよい。信号処理部１３は、例えば、５０行×５０列の画素群から構成される画像を、４０行×４０列の画素群から構成される画像に変換してよい。信号処理部１３は、歪みを補正する際に、異なる縦横比の画像に変換してよい。信号処理部１３は、例えば、６０行×５０列の画素群から構成される画像を、４０行×４０列の画素群から構成される画像に変換してよい。信号処理部１３は、歪みを補正する際に、異なる画像規格の画像に変換してよい。信号処理部１３は、歪みを補正する際に、画像規格外の画像を画像規格に基づく画像に変換してよい。信号処理部１３は、歪みを補正する際に、画像規格に基づく画像を画像規格外の画像に変換してよい。

歪みを補正する処理に用いられるために、信号処理部１３は、補正前の画像の各画素の位置と補正後の画像の各画素の位置とを対応付けるルックアップテーブル（ＬＵＴ）を記憶するメモリを有している。本開示では、補正前の画像を前画像と記載するときがある。本開示では、補正後の画像を後画像と記載するときがある。信号処理部１３は、前画像及び後画像を記憶するメモリを有している。

信号処理部１３は、後画像における各位置の画素値を、ルックアップテーブルでそれぞれ対応付けられている前画像における各位置の画素値に変換する。例えば、図３（ｂ）に示す後画像における座標（０，０）に位置する画素の画素値は、図３（ａ）に示す前画像における座標（４，３）の位置にある画素値に変換される。また、後画像における（５，０）に位置する画素の画素値は、前画像における座標（７，２）の位置にある画素値に変換される。同様にして、歪みが発生する領域の全ての画素について補正後の位置の画素値を対応する補正前の位置の画素値とすることによって、補正後の画像が得られる。

信号処理部１３は、後画像における行単位で上記の歪み補正処理を行ってよい。信号処理部１３は、後画像における１つの行の各画素に対応する前画像の対応画素がメモリに記憶されると、前画像の当該対応画素の画素値を参照して当該１つの行の各画素の画素値が得られる。信号処理部１３は、後画像を構成する画素群のうち各行に位置する画素群の歪み補正処理を行単位で行ってよい。信号処理部１３は、補正後の各行に対応する補正前の画素群のデジタル信号への変換が完了すると歪み補正処理後の画像信号を出力する。信号処理部１３は。画像を構成する全ての画素についてメモリへの記憶が完了する前に、画像の一部の画素について歪み補正処理を開始してよい。信号処理部１３は、一部の画素についての歪み補正を先に処理することで、撮像から歪み補正を終了するまでの処理に要する時間を短縮化してよい。

また、信号処理部１３は、画像信号によって表される画像について、ホワイトバランス、明度調整、コントラスト調整、ガンマ補正等の画像処理を行ってよい。

通信インタフェース１４は、信号処理部１３によってＡ／Ｄ変換され、各種の信号処理が行われた画像信号をコントローラ２０及びディスプレイ３０に送信する。通信インタフェース１４は、画像信号に圧縮等の処理を行ったものを送信してよい。通信インタフェース１４は、画像信号を映像規格に基づいて送信してよい。映像規格は、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、DisplayPort、ＬＶＤＳ（Low Voltage Differential Signaling）、およびＤＶＩ（Digital Visual Interface）を含む。通信インタフェース１４は、コントローラ２０およびディスプレイ３０への画像信号を、異なる通信方式で送信してよい。

コントローラ２０は、通信インタフェース２１、画像処理部２２、及び画像メモリ２３を備える。コントローラ２０は、カメラ１０及びディスプレイ３０のいずれかと一体となっていてよい。

通信インタフェース２１は、カメラ１０の通信インタフェース１４によって出力された画像信号を受信する。通信インタフェース２１は、追って詳細に説明する認識信号に係る認識信号をディスプレイ３０に送信する。本開示では、認識信号として画像信号を用いる場合、「第２の画像信号」と呼ぶときがある。本開示では、第２の画像信号と区別するために、前述の画像信号を「第１の画像信号」と呼ぶときがある。第１の画像信号は、認識信号と異なる信号である。１つの態様において、通信インタフェース２１は、ＣＡＮ（Control Area Network）等の車両通信規格に基づいてディスプレイ３０に認識信号を出力してよい。１つの態様において、通信インタフェース２１は、映像規格に基づいてディスプレイ３０に第２の画像信号を出力してよい。

画像処理部２２は、一つまたは複数の画像信号を処理するプロセッサを含む。プロセッサは、種々の処理のためのプログラム及び演算中の情報を記憶する１または複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサと独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。制御部１６は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。

画像処理部２２は、通信インタフェース２１によって入力された画像に対して認識処理を行う。認識処理とは、カメラ１０が撮像した画像に表されている他の車両、建物、障害物等の物体を認識し、認識の結果を示す認識信号を生成することである。認識信号には、物体情報が含まれる。物体情報とは、カメラ１０から物体までの距離、物体の大きさ、物体の移動速度等の、検知した物体に関する情報である。認識信号は、運転情報および警告情報のいずれかを含んでよい。運転情報とは、車両２の速度、移動方向等の運転に関する情報である。

物体情報を生成する方法の一例として、画像処理部２２は、複数台のカメラ１０によって同時に撮像された２枚の画像における物体の位置の差（視差）に基づき、車両２から物体までの距離を算出する。画像処理部２２による物体情報の生成はこの方法に限られず、任意の方法を用いることができる。

また、運転情報を生成する方法の一例として、画像処理部２２は、カメラ１０で連続して撮像した画像において、画像上の特徴点を検出し、画像が撮像された時刻の差と、連続した画像におけるカメラ１０から特徴点が表す物体までの距離の差とを用いて車両２の速度を算出する。画像処理部２２による運転情報の生成はこの方法に限られず、例えば車速センサから速度情報を取得する等、任意の方法を用いることができる。

画像処理部２２は、物体情報及び運転情報の一つ以上に基づいて警告情報を生成する。警告情報とは、車両２の運転にあたって予測される危険について警告するための情報であり、例えば、車両２の側方に急に何らかの物体が現れたことを表す情報、車両２の走行中に後方にいる他の車両が急に接近してきたことを表す情報等である。

ディスプレイ３０は、車両２の内部における運転席の近傍、具体的には、図４に示すように運転者が運転席に座った場合に視認することができる場所に位置する。ディスプレイ３０は、車両２のコクピットモジュール（CPM; CockPit Module）、ルーフ、Ａピラー、ウインドシールド、ステアリングホイール、及び左右のフロントドア等に位置する。ＣＰＭは、センターコンソール、及びインスツルメントクラスターを含む。ディスプレイ３０は、例えば、インストルメントパネルの上部などに位置する。ディスプレイ３０は、例えば、液晶ディスプレイである。液晶ディスプレイは、ディスプレイ３０は、液晶ディスプレイに限らず、有機ＥＬ（electroluminescence）ディスプレイ、無機ＥＬディスプレイ、ＭＥＭＳディスプレイ（Micro-Electro Mechanical System Display）等であってよい。ディスプレイ３０は、運転者に虚像を示すヘッドアップディスプレイを含む。ディスプレイ３０は、通信インタフェース３１及び駆動ドライバ３２を備える。

ディスプレイ３０は、上述のようにカメラ１０が右側カメラ及び左側カメラを含む場合、右側ディスプレイ３０Ｒ及び左側ディスプレイ３０Ｌを含んでよい。右側ディスプレイ３０Ｒは、右側カメラによって撮像された右画像を表示する。左側ディスプレイ３０Ｌは、左側カメラによって撮像された左画像を表示する。ある１つの態様において、１つのディスプレイ３０は、複数のカメラ１０によって撮像された画像を表示してよい。例えば、１つのディスプレイ３０が右側カメラおよび左側カメラによって撮像された右画像および左画像を表示してよい。

ディスプレイ３０は、カメラ１０が中央カメラを含む場合、中央ディスプレイ３０Ｍをさらに含んでよい。中央ディスプレイ３０Ｍは、中央カメラによって撮像された画像を表示する。同様にして、ディスプレイ３０は、カメラ１０がアンダーカメラを含む場合、アンダーディスプレイを含んでよい。アンダーディスプレイは、アンダーカメラによって撮像された画像を表示する。

右側ディスプレイ３０Ｒは、右画像に基づいてコントローラ２０が生成した認識信号に基づいて情報を表示する。同様にして、左側ディスプレイ３０Ｌ、中央ディスプレイ３０Ｍ、アンダーディスプレイは、それぞれ左側カメラ、中央カメラ、及びアンダーカメラに係る認識信号に基づいて情報を表示する。右側ディスプレイ３０Ｒは、左画像に基づいて右画像に基づいてコントローラ２０が生成した認識信号に基づいて情報を表示してよい。

通信インタフェース３１は、カメラ１０の通信インタフェース１４から送信された画像信号を受信する。通信インタフェース３１は、コントローラ２０の通信インタフェース２１から、認識信号を受信する。

駆動ドライバ３２は、通信インタフェース３１によって受信した画像信号に基づいて画面表示を行う。ディスプレイ３０がカラー液晶ディスプレイである場合、駆動ドライバ３２は、ライン単位で駆動して、画像信号が表す赤色、緑色、青色それぞれの画素を表示する。

駆動ドライバ３２は、通信インタフェース１４によって出力された画像信号が表す画像をディスプレイ３０の画面に表示する。画像信号は、カメラ１０からの周期的な出力に基づいて周期的に生成され、ディスプレイ３０に入力される。駆動ドライバ３２は、周期的に生成された画像信号に基づいて、該画像信号が表す画像で周期的に画面を更新する。駆動ドライバが画面を更新する周期は、３０ＦＰＳ（Frames Per Second）、６０ＦＰＳ、１２０ＦＰＳなどがある。駆動ドライバ３２が画面を更新する周期は、１つの画面に相当するアナログ信号を撮像素子１２が出力する周期と同じでよい。駆動ドライバ３２が画面を更新する周期は、１つの画面に相当するアナログ信号を撮像素子１２が出力する周期と異なってよい。

駆動ドライバ３２は、通信インタフェース３１によって受信された、コントローラ２０からの認識信号に基づいて画面を更新する。駆動ドライバ３２は、認識信号に基づく画像を、カメラ１０が撮像した画像と合成して画面に表示する。駆動ドライバ３２は、第２の画像信号がディスプレイ３０に入力されると、入力されたタイミングにカメラ１０からディスプレイ３０に入力された第１の画像信号と、第２の画像信号とに基づいて画面を表示する。駆動ドライバ３２は、認識処理が行われた画像と異なる画像に、認識信号に基づく画像を合成する。

駆動ドライバ３２がディスプレイ３０に表示させる画面の一例を図５に示す。図５の例において、駆動ドライバ３２は、カメラ１０からの画像信号に基づく画像をディスプレイ３０の画面の中央領域に表示させ、コントローラ２０が出力した認識信号に基づく画像をディスプレイ３０の画面の中央領域に表示させる。駆動ドライバ３２は、認識信号に含まれる警告情報に基づいて、「他の車両が急接近中」といった文字を表示してよい。駆動ドライバ３２は、周辺領域を、例えば、赤色、黄色等の運転者の注意を喚起する色に変更してよい。

駆動ドライバ３２は、認識結果に係る物体に所定の表示をオーバーレイしてよい。駆動ドライバ３２は、カメラ１０が撮像した画像を表す第１の画像信号と、コントローラ２０からの第２の画像信号とを合成した合成信号を生成する。駆動ドライバ３２は、合成信号が表す合成画像を画面に表示する。

駆動ドライバ３２は、カメラ１０が撮像した画像を表す画像信号を、コントローラ２０から出力された認識信号に係る画像信号で上書きする。認識信号に含まれる物体情報に係る画像信号は、画像処理部２２が認識した物体の輪郭をなす画素が所定の画素値を有しており、物体の輪郭ではない画素は空値（empty value）である。空値は、ナル値（null value）と呼ばれることがある。そのため、合成画像において、合成画像において物体の輪郭に相当する位置の画素は、所定の画素値となる。合成画像において、物体の輪郭以外に相当する位置の画素は、上書きされず、カメラ１０が撮像した画像の画素値となる。これにより、図６に示すようにカメラ１０が撮像した画像において物体の輪郭が強調されるような画像が表示される。

カメラ１０が撮像した画像をコントローラ２０及びディスプレイ３０に出力し、コントローラ２０が画像に基づいて認識処理を行う一方、ディスプレイ３０はカメラ１０から出力された画像をリアルタイムで表示する。このため、ディスプレイ３０は、コントローラ２０が認識処理を行うのに要する時間を待たずに、カメラ１０が撮像して出力した画像を表示することができる。したがって、車両２の運転者は、車両２周辺の状況をリアルタイムで把握し、安全性の高い運転をすることができる。

また、ディスプレイ３０は、コントローラ２０からの認識信号を表す第２の画像信号と、カメラ１０から出力された第１の画像信号とによる合成画像を表示するため、短い遅延時間で車両２周辺の画像と、物体情報及び運転情報とを併せて表示することができる。したがって、車両２の運転者は、車両周辺の状況を短い遅延時間で把握できるとともに、物体情報及び運転情報を確認することができ、安全性のより高い運転をすることができる。

また、右側ディスプレイ３０Ｒが右側カメラによって撮像された画像を表示し、左側ディスプレイ３０Ｌが左側カメラによって撮像された画像を表示するため、車両２の運転者は、表示されている画像が右側後方のものであるか左側後方のものであるかを直感的に把握することができ、安全性のより高い運転をすることができる。同様にして、右側ディスプレイ３０Ｒは右側カメラによって撮像された画像に基づく認識信号に係る情報を表示し、左側ディスプレイ３０Ｌは左側カメラによって撮像された画像に基づく認識信号に係る情報を表示するため、車両２の運転者は、表示されている情報が右側後方に関するものであるか左側後方に関するものであるかを直感的に把握することができ、安全性のより高い運転をすることができる。

上述の実施形態及び実施例は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態及び実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態及び実施例に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

本実施形態において、カメラ１０の信号処理部１３は、画像を構成する画素群を行単位に、順次、信号生成処理、及びＡ／Ｄ変換処理を行うとしたが、これに限られない。例えば、信号処理部１３は、歪みを補正する前の画像において歪みが大きい領域に係る画像信号についてこれらの処理を先に行ってもよい。この場合、信号処理部１３は、歪みが大きい領域について先に画像メモリから画像信号を読出し、これに伴い、信号処理部１３は、歪みが大きい領域から補正処理を行うことができる。歪みが小さい領域については、歪みを補正する処理に用いる補正前の画像における領域が小さいため、後から画像信号を読み出しても短時間で歪み処理を終了することができる。このため、画像全体として歪みを補正する処理に要する時間を減少させることができる。

また、本実施形態において、駆動ドライバ３２は、カメラ１０から出力した画像を表す画像信号、及びコントローラ２０によって生成された認識信号に係る画像を表す画像信号の１つ以上を間引く処理を実行してもよい。これにより、駆動ドライバ３２は、画像信号を間引かずに画像を表示させる場合に比べて、短い時間で画像を表示させることができる。

本実施形態において、駆動ドライバ３２は、カメラ１０から出力した画像を表す画像信号、及びコントローラ２０によって生成された認識信号に係る信号の１つ以上を補間する処理を実行してもよい。駆動ドライバ３２は、例えば、ニアレストネイバー、バイリニア補間、およびバイキュービック補間などの補完処理を行ってよい。これにより、ディスプレイ３０は、カメラ１０から出力された画像信号が表す画像を補間する処理を実行せずに表示する場合に比べて、より鮮明な画像を表示することができ、車両２の運転者は、快適に画像を参照することができる。

カメラ１０の第１の画像信号はＣＡＮ等の車両通信規格に基づいて、コントローラ２０及びディスプレイ３０に送信されてもよい。

１ 車両用カメラモニタシステム
２ 車両
１０ カメラ
１１ 光学系
１２ 撮像素子
１３ 信号処理部
１４，２１，３１ 通信インタフェース
２０ コントローラ
２２ 画像処理部、
２３ 画像メモリ
３０ ディスプレイ
３０Ｒ 右側ディスプレイ
３０Ｌ 左側ディスプレイ
３０Ｍ 中央ディスプレイ
３２ 駆動ドライバ

本開示の１つの態様に係る車両用カメラモニタシステムは、第１の画像信号を得るカメラと、ディスプレイと、コントローラと、前記カメラを含む車両と、を備え、前記カメラは、前記第１の画像信号を、前記コントローラを介さずに前記ディスプレイに出力するとともに前記コントローラに出力し、前記コントローラは、第１の画像信号に基づく認識信号を生成して前記ディスプレイに出力し、前記ディスプレイは、前記第１の画像信号と前記認識信号とに基づく画像を表示する。また、本開示の１つの態様に係る車両用カメラシステムの制御方法は、カメラと、ディスプレイと、コントローラと、前記カメラを含む車両と、を備えるカメラモニタシステムの制御方法であって、前記カメラが、撮像して第１の画像信号を取得するステップと、該第１の画像信号を前記コントローラを介さずに出力するステップと、前記第１の画像信号を前記コントローラに出力するステップと、前記コントローラが、第１の画像信号に基づく認識信号を生成して前記ディスプレイに出力するステップと、前記ディスプレイが、前記コントローラを介さずに出力された第１の画像信号と前記認識信号とに基づく画像を表示するステップとを含む。また、本開示の１つの態様に係る車両用カメラモニタシステムは、周期的に撮像して第１の画像信号を得るカメラと、ディスプレイと、コントローラと、を備え、前記カメラは、前記第１の画像信号を前記ディスプレイに直接出力し、さらに前記第１の画像信号を前記コントローラに出力し、前記コントローラは、前記第１の画像信号に基づく画像に対して物体の認識処理を行い、前記認識処理によって認識信号を生成し、前記ディスプレイは、前記直接出力された前記第１の画像信号を画像として表示し、前記コントローラから前記認識信号が入力されたときに、前記カメラから入力された前記第１の画像信号に、前記認識信号を合成した合成信号を生成し、前記合成信号が表す合成画像を表示する。

Claims (12)

1. 周期的に撮像して第１の画像信号を得るカメラと、
   ディスプレイと、
   コントローラと、を備え、
   前記カメラは、前記第１の画像信号を前記ディスプレイに直接出力し、さらに前記第１の画像信号を前記コントローラに出力し、
   前記コントローラは、
   前記第１の画像信号に基づく画像に対して物体の認識処理を行い、
   前記認識処理によって認識信号を生成し、
   前記ディスプレイは、
   前記直接出力された前記第１の画像信号を画像として表示し、
   前記コントローラから前記認識信号が入力されたときに、前記カメラから入力された前記第１の画像信号に、前記認識信号を合成した合成信号を生成し、前記合成信号が表す合成画像を表示する、
   車両用カメラモニタシステム。
2. 前記コントローラは、前記カメラによって周期的に得られた前記第１の画像信号に基づく前記画像のそれぞれについて前記認識処理を行う、請求項１に記載の車両用カメラモニタシステム。
3. 前記合成信号は、前記第１の画像信号を、前記認識信号に基づく第２の画像信号で上書きした信号である、請求項１または２に記載の車両用カメラモニタシステム。
4. 前記カメラは、前記画像を映像規格に基づいて前記ディスプレイ及び前記コントローラに送信し、
   前記コントローラは、前記認識信号を車両通信規格に基づいて出力する、請求項１から３のいずれか一項に記載の車両用カメラモニタシステム。
5. 前記ディスプレイは、
   複数の画素が並ぶラインを含み、
   前記ライン単位で更新して前記画像を表示する、請求項１から４のいずれか一項に記載の車両用カメラモニタシステム。
6. 前記コントローラは、前記認識信号として第２の画像信号を生成する、請求項１から５のいずれか一項に記載の車両用カメラモニタシステム。
7. 前記ディスプレイは、前記第２の画像信号に基づいて、認識した物体に前記第２の画像信号をオーバーレイする、請求項６に記載の車両用カメラモニタシステム。
8. 前記カメラは、前記第１の画像信号を映像規格に基づいて前記ディスプレイ及び前記コントローラに送信し、
   前記コントローラは、前記第２の画像信号を前記映像規格に基づいて前記ディスプレイに出力する、請求項６または７に記載の車両用カメラモニタシステム。
9. 前記ディスプレイは、車両の内部に設置され、
   前記カメラは、前記車両の後方を撮像する、請求項１から８のいずれか一項に記載の車両用カメラモニタシステム。
10. 前記カメラは右側カメラ及び左側カメラを含み、
    前記ディスプレイは、左側ディスプレイ及び右側ディスプレイを含み、
    前記右側カメラは前記車両の右側後方を撮像し、前記左側カメラは前記車両の左側後方を撮像し、
    前記右側ディスプレイは前記右側カメラによって撮像された画像を表示し、前記左側ディスプレイは前記左側カメラによって撮像された画像を表示する、請求項９に記載の車両用カメラモニタシステム。
11. 前記カメラは前記車両の中央後方を撮像する中央カメラを含み、
    前記ディスプレイは中央ディスプレイを含む、請求項９または１０に記載の車両用カメラモニタシステム。
12. 前記カメラは前記車両の助手席側直近側方を撮像するアンダーカメラをさらに含み、
    前記ディスプレイはアンダーディスプレイを含み、請求項９から１１のいずれか一項に記載の車両用カメラモニタシステム。

Images