JP2013239995A - 車載カメラシステム及びこれに用いる映像受信装置と映像送信装置 - Google Patents

Abstract

【課題】車両の運転支援を前提とし、圧縮伸張後の映像を用いて画像認識を行う場合においても高い認識率を実現する車載カメラシステムを提供すること。
【解決手段】映像受信装置２の画像認識部２６は、映像送信装置１から送信された映像ストリーム３０を用いて画像認識処理を行う。認識制御部２５は、画像認識部２６の認識処理動作を切り替える。さらに認識制御部２５は、映像送信装置１から送信される映像ストリームを、切り替えた認識処理動作に適するフォーマットに変更するための符号化制御情報３１を映像送信装置１に送信する。映像送信装置１のエンコーダ制御部１５は、送信された符号化制御情報３１に基づきエンコーダ１３のエンコード処理パラメータを変更する。
【選択図】図１

Description

本発明は、車両の運転支援に好適な車載カメラシステム及びこれに用いる映像受信装置と映像送信装置に関する。

従来、運転者の安全性向上を目的として、車両にカメラを取り付け画像認識機能を利用することで運転支援を行う車載カメラシステムがある。例えば特許文献１には、障害物を素早く検知し運転者に気付かせるために、車両の走行状態に基づいて撮影した画像における障害物の探索位置を決定する画像認識装置が記載されている。

一方、カメラ画像を圧縮符号化してネットワークを介して伝送を行なうネットワークカメラシステムがある。例えば特許文献２には、ネットワークの有効帯域と受信側の表示状況の変動に対応するために、受信側の受信状況または表示手段の表示状況に基づいて、送信側は映像信号をエンコードするための符号化パラメータを設定する映像伝送システムが記載されている。

特開２０１０−８６４０６号公報 特開２００６−１２８９９７号公報

従来の画像認識装置は、非圧縮映像を用いることで高い認識率を実現している。一方、画像認識機能を備えたカメラシステムをネットワーク化する場合、限られた帯域で映像を伝送するために画像圧縮が必要である。しかし、圧縮伸張後の映像を用いて画像認識処理を行う場合、認識率が低下するという課題がある。

特許文献１に記載の画像認識装置は、非圧縮映像を前提としており、映像信号を圧縮伸張することによる認識性能への影響は考慮されていない。また特許文献２に記載の映像伝送システムは、ネットワークの有効帯域や表示手段の表示状況の変動があってもエンコーダ能力や表示能力に適した映像伝送を可能とするものであるが、受信側で画像認識処理を行う場合の制御方法については考慮されていない。

本発明の目的は、特に車両の運転支援を前提とし、圧縮伸張後の映像を用いて画像認識を行う場合においても高い認識率を実現する車載カメラシステム及びこれに用いる映像受信装置と映像送信装置を提供することである。

前記課題を解決するため、特許請求の範囲に記載の構成を備える。一例を挙げるならば、本発明の車載カメラシステムにおいて、映像送信装置は、撮影した映像をエンコード処理して映像ストリームを生成するエンコーダと、エンコーダのエンコード処理パラメータを制御するエンコーダ制御部と、生成した映像ストリームをネットワークを介して映像受信装置へ送信するネットワークＩＦと、を備える。映像受信装置は、ネットワークを介し送信された映像ストリームを受信するネットワークＩＦと、受信した映像ストリームをデコード処理して再生画像を生成するデコーダと、再生画像に対し画像認識処理を行う画像認識部と、画像認識部の認識処理動作を切り替える認識制御部と、を備える。認識制御部は、映像送信装置から送信される映像ストリームを、切り替えた認識処理動作に適するフォーマットに変更するための符号化制御情報を映像送信装置に送信し、映像送信装置のエンコーダ制御部は、送信された符号化制御情報に基づきエンコーダのエンコード処理パラメータを変更する構成とした。

さらに映像送信装置は、撮影した映像に画像処理を施す画像処理部と、画像処理部の画像処理パラメータを制御する画像処理制御部とを備え、映像受信装置の認識制御部は、認識処理動作を切り替えるときに、送信される映像ストリームに画像処理を施すための画像処理制御情報を映像送信装置に送信し、映像送信装置の画像処理制御部は、送信された画像処理制御情報に基づき画像処理部の画像処理パラメータを変更する構成とした。

本発明によれば、画像認識により車両の運転支援を行う車載カメラシステムにおいて、画像認識の入力に圧縮伸張後の映像を用いた場合においても、高い認識率を実現することができる。

実施例１における車載カメラシステムの構成を示すブロック図である。 画像認識部の機能を示す図である。 車両のギアの状態遷移を示す図である。 ギアの状態と運転支援アプリケーションの関係を示す図である。 車両走行状態と符号化制御情報の関係を示す図である。 イーサネットパケットの構成を示す図である。 実施例２における車載カメラシステムの構成を示すブロック図である。 実施例３における車載カメラシステムの構成を示すブロック図である。 イーサネットパケットの構成を示す図である。 実施例４におけるエンコード処理時間を示す図である。 実施例５における車載カメラシステムの構成を示すブロック図である。

以下、本発明の各実施例を図面を用いて説明する。

図１は、実施例１における車載カメラシステムの構成を示すブロック図である。車載カメラシステムは撮像部（カメラ）を含む映像送信装置１と画像認識部を含む映像受信装置２とを備え、両者の間をネットワーク３を介して接続する。撮像部からの映像を画像認識部で解析することで、ユーザ（運転者）に警報を出力するなどの運転支援機能を実現する。

映像送信装置１は、撮像部（カメラ）１１、画像処理部１２、エンコーダ１３、ネットワークインターフェース（ＩＦ）１４、エンコーダ制御部１５を有する。撮像部１１は、被写体からの入力光の光電変換を行ない映像信号に変換する。本例の場合、撮像部１１は車両の前方または後方を撮影する位置に取り付ける。

画像処理部１２は、撮像部１１からの映像信号にコントラスト補正、輪郭強調、ガンマ補正、ノイズ除去、フィルタ処理、鮮鋭化処理、色彩補正などの画像処理を行う。
エンコーダ１３は、画像処理後の映像信号に圧縮符号化処理（エンコード処理）を行ない映像ストリームに変換する。エンコード処理では符号化パラメータ（エンコード処理パラメータ）を変えることで、様々な映像フォーマットの映像信号に変換する。このパラメータには後述するように、画像サイズ、フレームレート、ビット深度、色フォーマット等が含まれる。さらには、注目領域のマクロブロックの量子化ステップ幅を小さくすること、デブロッキングフィルタの有無を選択することなどの設定もここで行う。

ネットワークＩＦ１４は、映像ストリームのパケット化（パケッタイズ処理）を行い、ネットワーク３を介して映像受信装置２へ映像ストリーム３０を送信する。一方ネットワークＩＦ１４は、映像受信装置２から送信されたパケット（符号化制御情報３１）を受信し、デパケット化（デパケッタイズ処理）してエンコーダ制御部１５へ送る。

エンコーダ制御部１５は、ネットワークＩＦ１４から受け取った符号化制御情報３１に基づいて、エンコーダ１３に対してエンコード処理パラメータを設定する。この符号化制御情報３１には後述するように、映像フォーマット情報、注目領域の情報、デブロッキング有無情報、それにエンコード処理開始／停止の情報などが含まれる。このようにしてエンコーダ１３は、映像受信装置２から指示されたエンコード条件（例えば映像フォーマット）に従いエンコード処理を行う。

映像受信部２は、ネットワークＩＦ２１、デコーダ２２、出力部２３、表示部２４、認識制御部２５、画像認識部２６を有する。ネットワークＩＦ２１は、映像送信装置１からネットワーク３を介して送信される映像ストリーム３０を受信し、デパケッタイズ処理を行う。

デコーダ２２は、映像ストリームを伸張復号化処理（デコード処理）して再生画像を生成する。再生画像は出力部２３と画像認識部２６に供給される。出力部２３は、再生画像を表示部２４にて表示させるとともに、画像認識部２６で生成された警報などのその他情報２９を外部へ出力する。

画像認識部２６は、再生画像を入力して運転支援アプリケーションに従って画像認識処理を行う。例えば入力映像に対して白線認識を行い、車線（白線）を逸脱しそうになった場合車線逸脱警報を生成して出力部２３に送る。そのとき出力部２３は、表示部２４で表示する映像に警報を示すＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）を重畳して出力する。あるいはその他の情報２９として、警報を示す音声情報や、車線を逸脱しないようにハンドルを制御するためのハンドル制御情報を出力する。

認識制御部２５は、車両内に設けた走行状態検出部４から走行状態情報４０を取得し、画像認識部２６の動作を切り替える。走行状態情報４０とは、ギアの状態（パーキング、ドライブ、バック）、車速情報、操舵角情報等とともに、ユーザからの指示の情報、外部ＣＰＵからの指示の情報をも含む。認識制御部２５は、走行状態情報４０に対応して画像認識部２６の行う処理（運転支援アプリケーション）を予め定めておき、これに従って画像認識部２６を制御する。

さらに認識制御部２５は、画像認識部２６の行う処理に応じてこれに適した映像のフォーマットを予め定めておく。そして、画像認識部２６の制御と連動して、ネットワークＩＦ２１を介して映像送信装置１に符号化制御情報３１を送信する。符号化制御情報３１には、映像フォーマット以外に、注目領域の情報、デブロッキング有無の情報、エンコード処理開始／停止の情報などが含まれる。

伝送路となるネットワーク３にはイーサネット（登録商標）を使用するが、他の通信方式を用いても良い。ネットワーク３には、映像送信装置１から画像認識に適した形式でエンコード処理された映像ストリームを送信することで、画像認識の認識率を高めるとともに、ネットワーク３の限られた帯域を有効に利用する。またネットワーク３には、映像受信装置２から符号化制御情報３１が効率良く送信される。

図２は、画像認識部２６の機能を示す図である。本実施例で備える運転支援アプリケーションの例と、これを実現するための画像認識処理と、画像認識処理に必要な映像フォーマットの関係を示す。運転支援アプリケーションとしては、通常走行時に使用する車線逸脱警報機能、後退走行時に使用する衝突防止機能、また後退走行時に使用する後方映像表示機能を挙げている。これらの機能を実現するため、車線逸脱警報には白線認識処理、衝突防止には障害物（車両認識を含む）認識処理を行う。後方映像表示では画像認識処理は行わない。

次に画像認識処理のための映像フォーマットであるが、従来ワイヤーハーネスなどを用いて非圧縮で映像を送信する時は、映像フォーマットの各要素（画像サイズ、フレームレート、色フォーマット、ビット深度）を最高スペックにて送信していた。そして受信側において、画像認識処理に応じて必要な映像フォーマットに変換して処理していた。具体例でいえば、送信する映像フォーマットのスペックは、色フォーマットはＹＵＶ４：２：０形式（Ｙ：輝度信号、ＵＶ：色差信号）、ビット深度は１０ビット、画像サイズは１２８０ｘ７２０画素、フレームレートは３０枚／秒（ｆｐｓ）としていた。以後、映像フォーマットのスペックを略して表記し、この場合には「１２８０ｘ７２０／３０ｆｐｓ（ＹＵＶ１０ビット）」とする。

しかしながら、画像認識処理に必要な映像フォーマットは最高スペックとは限らず、認識処理の種類により異なっている。また、全ての運転支援アプリケーションが同時に動作することは通常ありえない。例えば、車線逸脱警報は通常走行時に使用するが、後退走行時には使用しない。すなわち、限られた帯域のネットワークを介し、運転支援アプリケーションに関係なく常に最高スペックの映像を伝送するのは効率が良くない。

以上により本実施例では、ネットワーク３の伝送効率を考慮し、運転支援アプリケーション毎に最適な映像フォーマットを割り当てる。具体的には、車線逸脱警報の白線認識処理に必要な映像フォーマットは、「６４０ｘ３６０／３０ｆｐｓ（Ｙのみ１０ビット）」とする。衝突防止の障害物認識処理に必要な映像フォーマットは、フレームレートを下げて「６４０ｘ３６０／１５ｆｐｓ（ＹＵＶ１０ビット）」とする。また、後退走行時の後方映像表示に必要な映像フォーマットは、表示部２４に高画質映像を表示するために画像サイズを上げて「１２８０ｘ７２０／３０ｆｐｓ（ＹＵＶ８ビット）」とする。勿論これらの設定は一例であり、使用状況に合わせて適宜設定するものとする。

このように本実施例の車載カメラシステムでは、車両に取り付けた走行状態検出部４によりギア状態等を検知して走行状態情報４０を映像受信装置２に送る。映像受信装置２の認識制御部２５は、走行状態情報４０に応じて運転支援アプリケーションを選択し、画像認識部２６に対して対応する画像認識処理を指示する。また認識制御部２５は、選択した運転支援アプリケーションに適した映像フォーマットを指定する符号化制御情報３１を映像送信装置１へ送信する。映像送信装置１は符号化制御情報３１に従ってエンコーダ１３を制御してエンコード処理を行い、指定された映像フォーマットの映像ストリーム３０を映像受信装置２に送信する。

次に、本実施例の運転支援アプリケーションを用いた運転支援機能を具体的に説明する。映像送信装置１は車の前方と後方の映像を取得するために、複数の撮像部（カメラ）１１を取り付けているものとする。

図３は、車両走行状態のパラメータとして車両のギアの状態遷移を示す図である。ギア状態として、パーキング４１、ドライブ４２、リバース４３の３つの状態が存在する。またギアの状態遷移として、パーキング４１からドライブ４２に切り替わる遷移４０１ａ、ドライブ４２からリバース４３に切り替わる遷移４０２ａ、リバース４３からパーキング４１に切り替わる遷移４０３ａがある。逆に、ドライブ４２からパーキング４１に切り替わる遷移４０１ｂ、リバース４３からドライブ４２に切り替わる遷移４０２ｂ、パーキング４１からリバース４３に切り替わる遷移４０３ｂがある。このようにギアの状態遷移を取り上げたのは、後述のようにギア状態の切替時に制御信号を伝送するためである。

図４は、ギアの状態と運転支援アプリケーションの関係を示す図である。各ギアの状態に応じて特定の運転支援アプリケーションが自動的に選択され動作する。さらに、ユーザの操作指示により特定の運転支援アプリケーションを動作させることもできる。ギアの状態がパーキング４１のときは、運転支援アプリケーションは動作しない。ギアの状態がドライブ４２のときは、前方映像を用いた車線逸脱警報が動作し、ギアの状態がリバース４３のときは、後方映像を用いた衝突防止が動作する。また、ユーザの指示により後方映像の表示を行う。このユーザの指示は、例えばカーナビゲーションシステムの設定により、ギアの状態がリバース４３のときは、後方映像表示が起動するように、予め指示しておいても良いし、走行中にユーザがボタン等により指示を出すとしても良い。

図５は、車両走行状態と符号化制御情報の関係を示す図である。映像受信装置２の認識制御部２５は走行状態情報４０やユーザの指示を受けて、図４に示した運転支援アプリケーションを実行させる。そして、運転支援アプリケーションに対応した符号化制御情報３１を、ギアの状態遷移をタイミングとして映像送信装置１へ送信する。車両の具体的な運転を想定すると、送信する符号化制御情報３１は次のようになる。

ギアをパーキング４１に入れてからエンジンを起動すると、映像送信装置１、映像受信装置２及び走行状態検出部４に電源が投入される。エンコーダ制御部１５は初期設定を行い指示待ち状態となり、認識制御部２５は初期設定を行い走行状態検出部４から走行状態情報４０（ギアの状態）を受ける。最初のギアの状態はパーキング４１なので運転支援動作は行わず、映像送信装置１や画像認識部２６に対して何も指示を与えない。

ギアをパーキング４１からドライブ４２に切り替えると、認識制御部２５はギア状態の遷移４０１ａを知り、画像認識部２６に対し対応する車線逸脱警報のアプリケーション（白線認識処理）を起動させる。そして、車線逸脱警報に対応する符号化制御情報３１として、エンコード開始を指示するエンコード開始情報と、そのときの映像フォーマット情報「６４０ｘ３６０／３０ｆｐｓ（Ｙのみ１０ビット）」を映像送信装置１へ送信する。

映像送信装置１のエンコーダ制御部１５は、受け取った符号化制御情報３１に基づいてエンコーダ１３のエンコード処理パラメータを変更する。すなわちエンコーダ１３は、フォーマット「６４０ｘ３６０／３０ｆｐｓ（Ｙのみ１０ビット）」でエンコード処理を行い、生成した映像ストリーム３０を映像受信装置２へ送信する。その結果、映像受信装置２の画像認識部２６は、「６４０ｘ３６０／３０ｆｐｓ（Ｙのみ１０ビット）」のフォーマットの映像を用いることになり、同一ビットレートでエンコードした「１２８０ｘ７２０／３０ｆｐｓ（ＹＵＶ１０ビット）」よりも高いＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）の映像であるため、高い認識率を実現できる。

次に、ギアをドライブ４２からリバース４３に切り替えると、認識制御部２５はギア状態の遷移４０２ａを知り、画像認識部２６に対し対応する衝突防止のアプリケーション（障害物認識処理）を起動させる。そして、衝突防止に対応する符号化制御情報３１として、エンコード時の映像フォーマットを「６４０ｘ３６０／１５ｆｐｓ（ＹＵＶ１０ビット）」に変更する指示を映像送信装置１へ送信する。その際、エンコード処理は継続するのでエンコード開始情報は送る必要がない。映像送信装置１のエンコーダ制御部１５は、受け取った符号化制御情報３１に基づいてエンコーダ１３を制御し、エンコーダ１３はフォーマット「６４０ｘ３６０／１５ｆｐｓ（ＹＵＶ１０ビット）」の映像ストリームを生成する。その結果、映像受信装置２の画像認識部２６は、フルカラー（ＹＵＶ１０ビット）の映像を用いて、確実に障害物の認識を行うことができる。

ここで、ギアがリバース４３のときに、ユーザの操作により後方映像表示の指示を行った場合を説明する。ユーザから指示を受けた認識制御部２５は、後方映像表示のアプリケーションを起動させる。そして、後方映像表示に対応する符号化制御情報３１として、エンコード時の映像フォーマットを「１２８０ｘ７２０／３０ｆｐｓ（ＹＵＶ８ビット）」に変更する指示を映像送信装置１へ送信する。また画像認識部２６に対し認識処理を停止するよう指示する。その結果、映像受信装置２の表示部２４には、画像サイズの大きくより解像度の高い映像が表示される。

あるいは、衝突防止の運転支援アプリケーションを継続させたまま後方映像表示を実行することも可能である。その場合には、最高スペックの映像フォーマットである「１２８０ｘ７２０／３０ｆｐｓ（ＹＵＶ１０ビット）」を選択し、画像認識部２６に対し障害物認識処理を継続するように指示する。このように最高スペックの映像フォーマットを用いることで、衝突防止機能と後方映像表示機能を両立させることもできる。

次にギアをリバース４３からパーキング４１に切り替えると、認識制御部２５はギア状態の遷移４０３ａを知り、画像認識部２６に対し運転支援アプリケーションを停止するよう指示する。また符号化制御情報３１として、エンコード停止の指示を映像送信装置１へ送信する。このようにして、運転支援アプリケーションを使用しないパーキング４１状態において、映像送信装置１や映像受信装置２の消費電力を削減する。

上記以外のギア状態遷移（４０１ｂ、４０２ｂ、４０３ｂ）についても同様であり、図５には、認識制御部２５から映像送信装置１へ送信する符号化制御情報３１の一覧を示す。

図６は、ネットワーク３上を流れるイーサネットパケットの構成を示す図である。符号化制御情報３１はイーサネットパケットの形式で送信される。イーサネットパケットは、イーサヘッダ３００と、データ部３１０と、フレームチェックシーケンス（ＦＣＳ）３２０から構成される。イーサネットヘッダ３００には宛先、送信元、パケットの長さ／タイプなどのヘッダ情報が格納される。データ部３１０には符号化制御情報３１１を格納し、これには上記したエンコード開始／停止情報や映像フォーマット情報などが含まれる。ＦＣＳ３２０はパケットエラーをチェックするための情報である。図６では、エンコード開始／停止情報と映像フォーマットを同一パケットに格納しているが、これらを分離して異なるパケットに格納しても良い。

本実施例の構成によれば、映像受信装置２では、車両の走行状態情報４０やユーザの指示に応じて画像認識部２６が使用する映像のフォーマットを決定し、認識制御部２５は映像送信装置１に符号化制御情報３１を送信する。映像送信装置１では、エンコーダ１３は受信した符号化制御情報３１に基づいた映像フォーマットにて映像信号をエンコード処理し、映像ストリーム３０を映像受信装置２に送信する。その際ネットワーク３を伝送する映像ストリーム３０は、制限されたビットレート内で画像認識処理に応じて最適なフォーマットで伝送されるので、ネットワーク３に負担を掛けずに画像認識部２６は高い認識率にて認識動作を行うことができる。

さらに、符号化制御情報３１の中にエンコード開始／停止情報を含めることで、映像受信装置２が画像認識処理を停止している期間は映像送信装置１のエンコーダ１３のクロックを停止させることにより、映像送信装置１の消費電力を削減する効果がある。

以下、本実施例の変形例を説明する。まず、運転支援アプリケーションの種類は図２に示したものに限定されず、次のような機能が可能である。
映像受信装置２から映像送信装置１へ符号化制御情報３１を送るタイミングは、ギア状態の遷移（すなわち運転支援アプリケーションの切り替え）時だけでなく、画像認識処理の途中に送るようにしても良い。例えば、画像認識処理の前処理として粗探索を行って注目領域を決定し、注目領域のみを実際に画像認識処理することもできる。その場合には、映像送信装置１への符号化制御情報３１として注目領域情報をリアルタイムで送信することで、エンコーダ１３のエンコード処理パラメータを変更し注目領域の量子化ステップ幅を小さくするよう制御する。これより、実際に画像認識処理で使用する注目領域の画質を向上させ、認識率をさらに高めることができる。

走行状態情報４０として車速情報を用いて、現在の車速に応じて映像フォーマットのフレームレートを制御することも可能である。例えば、高速走行時にはフレームレートを高くして映像の急激な変化に追従して画像認識を行うことで、より安全な運転走行が可能になる。

符号化制御情報３１に含める映像フォーマットの情報として、画像サイズ、フレームレート、ビット深度、色フォーマットの例を説明したが、画像認識処理の認識率を向上させるためにさらに情報を追加しても良い。例えば、前フレームの画像認識結果を使用して現フレームの画像認識処理を行う場合、映像受信装置２から映像送信装置１へ冗長化伝送を要求する冗長化要求情報を送信する。これにより、エンコーダ１３またはネットワークＩＦ１４にて映像ストリーム３０の冗長化を行い、エラー耐性を高めることにより、伝送経路などでのエラー発生による画像認識の誤動作を防ぐことが可能になる。

画像認識部２６で処理する映像信号がＹＵＶ形式ではなくＲＧＢ形式（Ｒ：レッド、Ｇ：グリーン、Ｂ：ブルー）の場合には、ＲＧＢ形式のエンコード処理を指示するＲＧＢ形式情報を送信することで、色フォーマット変換時の変換誤差を軽減することができる。また、画像認識処理でＲ形式のみが欲しい場合には、Ｒ形式情報を送信することで、ＹＵＶ形式全て伝送して映像受信装置２でＲＧＢ形式に変換してから、Ｒ形式を画像認識処理に適応するといった無駄な処理を無くすことができる。

Ｈ．２６４など次世代映像符号化においては、ブロック境界を視覚的に目立たなくするデブロッキングフィルタ処理が用いられ、これに合わせてデブロッキングフィルタを制御するデブロッキングフィルタ制御情報を追加して送信する。例えば、映像信号を外部表示装置に出力するときはデブロッキングフィルタ機能をオンとし、画像認識処理に使用するときはデブロッキングフィルタ機能をオフとする。これにより、画像認識処理においてエッジ情報を用いて認識処理を行う場合に、ブロック境界と共にエッジ情報も鈍ってしまうことを防止し認識率の低下を防止することができる。

画像認識処理で特に重要なエリアを重視エリア情報として送信する。例えば、車両検知を行い衝突する前にブレーキをかけるシステムでは、正面にある車の距離が重要なため、車の前方の画像が重要であり、前方の左右の画像はさほど重要ではない。そこで、画像の前方を重視エリア情報として送信することで、重視エリアの内部は量子化ステップを小さくし、代わりに重視エリアの外部の量子化ステップを大きくするという制御ができる。これにより、ビットレートを保ったまま、重視エリアの内部のみ高画質に伝送することができるので、認識率の低下を防止することができる。

符号化制御情報３１を伝送するために、映像ストリーム３０のパケットを伝送するイーサネットを共用する構成としたが、符号化制御情報３１については専用のイーサネットを用いて伝送しても良いし、車内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｏｗｏｒｋ）の規格であるＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＭＯＳＴ（Ｍｅｄｉａ Ｏｒｉｅｎｔｅｄ Ｓｙｓｔｅｍｓ Ｔｒａｎｓｐｏｒｔ）などのネットワークを使用しても良い。

図７は、第２の実施例における車載カメラシステムの構成を示すブロック図である。本実施例では、車両に取り付けた走行状態検出部４からの走行状態情報４０を映像受信装置２に送るとともに、映像送信装置１にも送る構成とした。そして映像送信装置１のエンコーダ制御部１５は、受け取った走行状態情報４０に応じてエンコーダ１３に符号化制御信号１５１（エンコード処理パラメータ）を送り、エンコード処理を制御するようにした。一方、映像受信装置２の認識制御部２５は、受け取った走行状態情報４０に応じて画像認識部２６の行う画像認識動作を制御する。その際エンコーダ制御部１５と認識制御部２５は、図２〜図５に示した走行状態と運転支援アプリケーション（画像認識処理、映像フォーマット）の関係を共有することで、互いに連携した動作を可能とする。

本実施例の構成においても、ネットワーク３を伝送する映像ストリーム３０は、制限されたビットレート内で画像認識処理に応じて最適なフォーマットで伝送されるので、ネットワーク３に負担を掛けずに画像認識部２６は所望の認識動作を実現することができる。さらに本実施例では、映像送信装置１は走行状態検出部４から受け取った走行状態情報４０に応じてエンコード処理における映像フォーマットを制御する構成としたので、実施例１のようにネットワーク３を介して映像受信装置２から符号化制御情報３１を受信する必要がない。すなわちネットワーク３には符号化制御情報３１が伝送されないので、ネットワーク３の負担を軽減する効果がある。

図８は、第３の実施例における車載カメラシステムの構成を示すブロック図である。本実施例では、実施例１（図１）の映像送信装置１に対し画像処理部１２を制御する画像処理制御部１６を追加し、そのための制御情報を映像受信装置２から送信する構成とした。そして、画像処理の制御情報についても車両の走行状態情報４０に基づいて生成する。図１と同一機能のブロックには同一の符号を付与し、重複する説明を省略する。

映像受信装置２の認識制御部２５は、走行状態情報４０を受けて画像認識部２６の動作を切り替える際に、映像送信装置１に対し符号化制御情報３１だけでなく、画像処理部１２の画像処理パラメータを変更するための画像処理制御情報３２を送信する。画像処理部１２の画像処理パラメータとしては、コントラスト補正、輪郭強調、ガンマ補正、ノイズ除去、フィルタ処理、鮮鋭化処理、色彩補正などが含まれる。以下、輪郭強調を例として実施例の動作を具体的に説明する。

車両の走行状態（ギアの状態）がパーキング４１からリバース４３に切り替わった場合、認識制御部２５はギア状態の遷移４０３ｂに対応する符号化制御情報３１として、衝突防止機能（障害物認識処理）に用いる映像フォーマット「６４０ｘ３６０／１５ｆｐｓ（ＹＵＶ１０ビット）」を選択する。さらに画像処理制御情報３２として、輪郭強調を施す画像処理パラメータを選択する。これは、画像認識部２６で障害物認識を行う場合は、障害物の輪郭をはっきりさせるためである。そして両者の制御情報３１，３２をパケットに格納して、ネットワーク３を介して映像送信装置１へ送信する。

映像送信装置１のネットワークＩＦ１４は、符号化制御情報３１と画像処理制御情報３２の含まれたパケット受信しデパケッタイズを行う。そして、符号化制御情報３１をエンコーダ制御部１５へ、画像処理制御情報３２を画像処理制御部１６へ送る。画像処理制御部１６は受け取った画像処理制御情報３２に基づいて、画像処理部１２に対し輪郭強調の画像処理を行うよう設定する。その結果、映像送信装置１からは輪郭強調された映像の映像ストリーム３０が送信され、映像受信装置２の画像認識部２６における障害物認識の認識率をより向上させることができる。

その他の画像処理の例としては、画像認識部２６にて車線逸脱警報（白線認識処理）を行う場合、画像処理部１２にて映像信号の色彩補正を行い、特に白色の被写体を強調する補正を行うようにする。これにより道路の白線に対する認識率をより向上させることができる。

図９は、本実施例におけるイーサネットパケットの構成を示す図である。実施例１（図６）のイーサネットパケットのデータ部３１０に、画像処理制御情報３１２を追加した構成となる。ここでは符号化制御情報３１１と画像処理制御情報３１２を同一パケットに格納して送信する構成としたが、各々異なるパケットに格納して送信しても良い。

本実施例では、車両の走行状態情報４０やユーザの指示に応じて画像認識部２６が使用する映像のフォーマットとこれに適した画像処理のパラメータを決定し、認識制御部２５は映像送信装置１に符号化制御情報３１と共に画像処理制御情報３２を送信する。映像送信装置１では、画像処理部１２は受信した画像処理制御情報３２に基づいた画像処理パラメータにて映像信号を処理する。またエンコーダ１３は、受信した符号化制御情報３１に基づいた映像フォーマットにて映像信号をエンコード処理し、映像ストリーム３０を映像受信装置２に送信する。その結果、ネットワーク３を伝送する映像ストリーム３０は、制限されたビットレート内で画像認識処理に応じて最適なフォーマットで伝送されるだけでなく、画像認識部２６での画像認識処理に適した画像処理が施されているので、画像認識部２６での認識率をより向上させることができる。

本実施例では、映像受信装置２から映像送信装置１へ符号化制御情報３１と画像処理制御情報３２を共に送信する構成としたが、符号化制御情報３１は送信せずに画像処理制御情報３２だけを送信する構成としても良い。また本実施例では、画像処理パラメータとして輪郭強調の例を説明したが、これに限らず、画像認識部２６の行う認識処理に応じてこれに適合した画像処理パラメータを設定すれば良い。

実施例４では、実施例１〜実施例３のエンコード処理において消費電力を削減する方法について記載する。本実施例では、映像送信装置１において「１２８０ｘ７２０／３０ｆｐｓ（ＹＵＶ８ビット）」の映像（基準フォーマットとする）をリアルタイムでエンコード処理するのに、動作周波数３００ＭＨｚが必要であるとする。これに対し、符号化制御情報３１を受けて、基準フォーマットよりもフレームレートを下げた「１２８０ｘ７２０／１５ｆｐｓ（ＹＵＶ８ビット）」の映像フォーマットでエンコード処理を行う場合、以下の方法で消費電力を削減する。

図１０は、エンコード処理の処理時間を示す図である。横軸は時間軸を表しており、３通りのエンコード処理１，２，３を比較して示す。エンコード処理１は、基準フォーマット「１２８０ｘ７２０／３０ｆｐｓ（ＹＵＶ８ビット）」の映像をクロック周波数３００ＭＨｚでエンコードする場合を示す。入力する映像信号量とエンコーダ１３の処理能力とが等しく、１フレームの処理時間は３３．３ｍｓとなり、リアルタイムでのエンコード処理を実現できている。

エンコード処理２は、フレームレートを下げた「１２８０ｘ７２０／１５ｆｐｓ（ＹＵＶ８ビット）」の映像を３００ＭＨｚでエンコードする場合を示す。１５ｆｐｓの入力映像なのでフレーム２，４が欠如し、欠如したフレームの期間を飛ばして断続的にエンコード処理を行っている。すなわちエンコード処理を休止する期間（３３．３ｍｓ）が交互に生じるので、この期間のクロックを停止させる。このように、符号化制御情報に基づいてクロック動作のオン／オフ制御を行うことで、リアルタイム処理を維持しながら消費電力を削減することができる。

エンコード処理３は、上記と同じ「１２８０ｘ７２０／１５ｆｐｓ（ＹＵＶ８ビット）」の映像をクロック周波数１５０ＭＨｚでエンコードする場合を示す。動作周波数を半分にすることでエンコード処理時間は２倍（１フレーム当たり６６．７ｍｓ）になるが、フレームレートが半分であるためリアルタイム処理を維持することができる。このように、符号化制御情報に基づいて動作周波数を低下させることで、リアルタイム処理を維持しながら消費電力を削減することができる。

本実施例では、符号化制御情報に基づいてフレームレートを下げた映像のエンコード処理について記載した。これと同様に、符号化制御情報に基づいて画像サイズが小さくなる映像のエンコード処理においても、リアルタイム処理を維持しながら一定の期間クロック動作を停止させる、または動作周波数を低下させることにより消費電力の削減が可能である。

実施例５では、複数の映像送信装置を備えた車載カメラシステムについて記載する。
図１１は、第５の実施例における車載カメラシステムの構成を示すブロック図である。ここでは実施例３（図８）に記載した映像送信装置１と同一構成の複数（ここでは２台）の映像送信装置１ａ，１ｂと、映像受信装置２をネットワーク３を介して接続している。

複数の映像送信装置１ａ，１ｂを接続することで、それぞれの撮像部１１ａ，１１ｂからの映像をそれぞれのエンコーダ１３ａ，１３ｂでエンコード処理し、映像ストリーム３０ａ，３０ｂを映像受信装置２に送信する。映像受信装置２の画像認識部２６は複数の映像ストリーム３０ａ，３０ｂの映像を合成し、あるいは選択することで、より高度の運転支援機能を実現できる。例えば前方カメラと後方カメラの映像を合成し、前後両方向の危険防止機能を実現する。

一方、映像受信装置２から複数の映像送信装置１ａ，１ｂに対して符号化制御情報３１と画像処理制御情報３２を送信するが、より高度の画像認識を行うためには、複数の映像を互いに連携させるとともに、符号化制御情報３１ａ，３１ｂと画像処理制御情報３２ａ，３２ｂを送信装置毎に個別に送信することが望ましい。そのための通信方式として、ユニキャスト通信（ＩＰアドレスを指定した１対１通信）を使用することで、映像送信装置１ａ，１ｂに向けて異なる制御情報を含むパケットを送信することができる。

なお、画像認識処理の種類や接続する映像送信装置の台数によっては、複数の映像送信装置１ａ，１ｂに同一の制御情報を送信したい場合もあり得る。その場合には、マルチキャスト配信またはブロードキャスト配信を利用することで、映像送信装置１ａ，１ｂに向けて同一の制御情報を含むパケットを送信することができる。

このように複数の映像送信装置を備えた車載カメラシステムでは、使用する運転支援アプリケーションに応じて、制御情報３１，３２の送信方式を選択できることが望ましい。すなわち認識制御部２５は、画像認識動作の種類に応じて、ユニキャスト通信とマルチキャスト配信（またはブロードキャスト配信）を自動的に切り替えるよう制御する。これにより、映像送信装置１ａ，１ｂに対して必要な制御情報を少ないパケット数で送信可能となり、ネットワーク３の負担を軽減することができる。

本実施例では２台の映像送信装置１ａ，１ｂを備えた車載カメラシステムの例を記載したが、３台以上の複数台の映像送信装置を備える場合にも同様に適用できることは言うまでもない。また、映像受信装置から複数の映像送信装置に対し、符号化制御情報と画像処理制御情報の両方を送信する例を記載したが、いずれか一方を送信する構成でも良い。

なお、本発明は上記した各実施例に限定されるものではなく、様々な変形が可能である。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ある実施例の構成の一部を他の実施例の構成で置き換えたり、ある実施例の構成に他の実施例の構成を追加することも可能である。

１：映像送信装置、
２：映像受信装置、
３：ネットワーク、
４：走行状態検出部、
１１：撮像部（カメラ）、
１２：画像処理部、
１３：エンコーダ、
１４：ネットワークＩＦ、
１５：エンコーダ制御部、
１６：画像処理制御部、
２１：ネットワークＩＦ、
２２：デコーダ、
２３：出力部、
２４：表示部、
２５：認識制御部、
２６：画像認識部、
３０：映像ストリーム、
３１：符号化制御情報、
３２：画像処理制御情報、
４０：走行状態情報。

Claims (7)

1. 映像送信装置と映像受信装置をネットワークで接続し、撮影した映像の画像認識を行う車載カメラシステムにおいて、
   前記映像送信装置は、
   撮影した映像をエンコード処理して映像ストリームを生成するエンコーダと、
   該エンコーダのエンコード処理パラメータを制御するエンコーダ制御部と、
   生成した前記映像ストリームを前記ネットワークを介して前記映像受信装置へ送信するネットワークＩＦと、を備え、
   前記映像受信装置は、
   前記ネットワークを介し送信された前記映像ストリームを受信するネットワークＩＦと、
   受信した前記映像ストリームをデコード処理して再生画像を生成するデコーダと、
   該再生画像に対し画像認識処理を行う画像認識部と、
   前記画像認識部の認識処理動作を切り替える認識制御部と、を備え、
   該認識制御部は、前記映像送信装置から送信される映像ストリームを、前記切り替えた認識処理動作に適するフォーマットに変更するための符号化制御情報を前記映像送信装置に送信し、
   前記映像送信装置の前記エンコーダ制御部は、送信された前記符号化制御情報に基づき前記エンコーダのエンコード処理パラメータを変更することを特徴とする車載カメラシステム。
2. 映像送信装置と映像受信装置をネットワークで接続し、撮影した映像の画像認識を行う車載カメラシステムにおいて、
   前記映像送信装置は、
   撮影した映像をエンコード処理して映像ストリームを生成するエンコーダと、
   車両の走行状態情報を取得し、該走行状態に応じて前記エンコーダのエンコード処理パラメータを変更するエンコーダ制御部と、
   生成した前記映像ストリームを前記ネットワークを介して前記映像受信装置へ送信するネットワークＩＦとを備え、
   前記映像受信装置は、
   前記ネットワークを介し送信された前記映像ストリームを受信するネットワークＩＦと、
   受信した前記映像ストリームをデコード処理して再生画像を生成するデコーダと、
   該再生画像に対し画像認識処理を行う画像認識部と、
   前記車両の走行状態情報を取得し、該走行状態に応じて前記画像認識部の認識処理動作を切り替える認識制御部と、
   を備えることを特徴とする車載カメラシステム。
3. 請求項１に記載の車載カメラシステムにおいて、
   さらに前記映像送信装置は、
   撮影した映像に画像処理を施す画像処理部と、
   該画像処理部の画像処理パラメータを制御する画像処理制御部とを備え、
   前記映像受信装置の前記認識制御部は、認識処理動作を切り替えるときに、送信される映像ストリームに画像処理を施すための画像処理制御情報を前記映像送信装置に送信し、
   前記映像送信装置の前記画像処理制御部は、送信された前記画像処理制御情報に基づき前記画像処理部の画像処理パラメータを変更することを特徴とする車載カメラシステム。
4. 請求項１または３に記載の車載カメラシステムにおいて、
   前記映像受信装置には複数の前記映像送信装置が接続され、
   前記映像受信装置の前記認識制御部は、各映像送信装置に送信する前記符号化制御情報または前記画像処理制御情報を同一の情報とするか、または映像送信装置毎に異なる情報とするかを選択可能であることを特徴とする車載カメラシステム。
5. 映像送信装置から映像ストリームを受信し画像認識を行う映像受信装置において、
   ネットワークを介してパケット化された前記映像ストリームを受信しデパケッタイズ処理を行うネットワークＩＦと、
   前記映像ストリームをデコード処理して再生画像を生成するデコーダと、
   該再生画像に対し画像認識処理を行う画像認識部と、
   前記画像認識部の認識処理動作を切り替える認識制御部と、を備え、
   該認識制御部は、前記画像認識部の認識処理動作を切り替えるとき、前記映像送信装置から送信される映像ストリームを前記切り替えた認識処理動作に適するフォーマットに変更するための符号化制御情報と、前記送信される映像ストリームに画像処理を施すための画像処理制御情報の、少なくともいずれか一方を前記映像送信装置に送信することを特徴とする映像受信装置。
6. 画像認識を行う映像受信装置に映像ストリームを送信する映像送信装置において、
   撮影した映像をエンコード処理して映像ストリームを生成するエンコーダと、
   車両の走行状態情報を取得し、該走行状態に応じて前記エンコーダのエンコード処理パラメータを変更するエンコーダ制御部と、
   生成した前記映像ストリームをパケット化しネットワークを介して前記映像受信装置へ送信するネットワークＩＦと、
   を備えることを特徴とする映像送信装置。
7. 画像認識を行う映像受信装置に映像ストリームを送信する映像送信装置において、
   撮影した映像をエンコード処理して映像ストリームを生成するエンコーダと、
   該エンコーダのエンコード処理パラメータを制御するエンコーダ制御部と、
   生成した前記映像ストリームをパケット化しネットワークを介して前記映像受信装置へ送信するネットワークＩＦと、を備え、
   前記エンコーダ制御部は、車両の走行状態情報に応じて前記映像受信装置から送信される符号化制御情報に基づき、前記エンコーダのエンコード処理パラメータを変更するとともに、エンコード処理におけるクロック動作のオン／オフ制御または動作周波数の変更を行うことを特徴とする映像送信装置。

Images