JP2015198344A

JP2015198344A - 制御装置、又は、制御システム

Info

Publication number: JP2015198344A
Application number: JP2014075503A
Authority: JP
Inventors: 俊和村尾; Toshikazu Murao
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2014-04-01
Filing date: 2014-04-01
Publication date: 2015-11-09
Anticipated expiration: 2034-04-01
Also published as: CN104980731A; US20150279004A1; DE102015205678A1; JP6273979B2; US10489889B2

Abstract

【課題】カメラの異常に対し適切に対処する。
【解決手段】取得手段は、撮影画像を生成する撮像部を備えるカメラ（１０）から撮影画像を取得し、実行手段は、取得手段により取得された撮影画像に基づき処理を実行する。また、受付手段は、カメラにて検出された撮像部の異常を示す異常信号の入力を受け付け、異常対応手段は、受付手段が異常信号の入力を受け付けると、該異常信号が示す撮像部の異常に対処するための処理を実行する。
【選択図】図１

Description

本発明は、撮影画像に基づき処理を行う制御装置等に関する。

近年、カメラによる自車両周辺の撮影画像に基づき運転支援を行う車載システムが知られているが、このようなカメラに設けられたＲＯＭやＲＡＭにてデータ化けが生じると、異常な撮影画像が生成され、その結果、運転支援等が適切に行われなくなる恐れがある。

これに対し、特許文献１には、カメラによる自車両周辺の撮影画像における自車両の車体部分の輝度と、日射センサ等により検出された車外照度との比較により、カメラの異常を検出することが記載されている。

特開２００５−３３６８０号公報

しかしながら、上記方法を用いたとしても、データ化けが生じたカメラによる撮影画像の色彩によっては異常が検出されない場合もあり、このような場合には、運転支援等が適切に行われなくなる恐れがある。

本願発明は上記課題に鑑みてなされたものであり、カメラの異常に対し適切に対処することができる制御装置を提供することを目的とする。

上記課題に鑑みてなされた請求項１に係る制御装置（２０）は、撮影画像を生成する撮像部（１１，１３〜１７）を備えるカメラ（１０）から、撮影画像を取得する取得手段（２２）と、取得手段により取得された撮影画像に基づき処理を実行する実行手段（２３）と、カメラにて検出された撮像部の異常を示す異常信号の入力を受け付ける受付手段（２１）と、受付手段が異常信号の入力を受け付けると、該異常信号が示す撮像部の異常に対処するための処理を実行する異常対応手段（Ｓ２０５）と、を備える。

このような構成によれば、カメラにて撮像部の異常が検出されるため、撮像部の異常を精度良く検出することができる。また、制御装置では、撮像部の異常を示す異常信号が入力されると、該異常に対処するための処理が実行される。したがって、カメラの異常に対し適切に対処することができる。

なお、請求項２に記載されているように、撮像部には、撮影画像の生成に関する処理に用いられるデータが記憶されている記憶手段（１３，１４，１８）が設けられており、異常信号が示す異常とは、記憶手段に記憶されているデータに誤りが生じたことであっても良い。

このような構成によれば、制御装置は、カメラの記憶手段にてデータ化けが生じたことを検出することができ、このような異常に適切に対処することが可能となる。
また、請求項３に記載されているように、制御装置は、車両に搭載されていても良い。

このような構成によれば、カメラの記憶手段にてデータ化けが生じた際に、制御装置にて不適切な運転支援や車両制御等が行われるのを防ぐことができる。
また、請求項４に記載されているように、撮影画像を生成する撮像部（１１，１３〜１７）を備えるカメラ（１０）と、撮影画像に基づき処理を行う制御装置（２０）とからなる制御システム（１）を構成しても良い。カメラは、撮像部の異常を検出する検出手段（１２）と、検出手段により撮像部の異常が検出されたことを示す異常信号を制御装置に出力する出力手段（Ｓ１１０）と、を備えても良い。また、制御装置は、カメラから撮影画像を取得する取得手段（２２）と、取得手段により取得された撮影画像に基づき処理を実行する実行手段（２３）と、カメラから異常信号の入力を受け付ける受付手段（２１）と、受付手段が異常信号の入力を受け付けると、該異常信号が示す撮像部の異常に対処するための処理を実行する異常対応手段（Ｓ２０５）と、を備えても良い。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものでは無い。

本実施形態の車載システムの構成を示すブロック図である。本実施形態のカメラの構成を示すブロック図である。本実施形態の運転支援装置の構成を示すブロック図である。本実施形態の異常検出処理のフローチャートである。本実施形態の異常対応処理のフローチャートである。

以下、本発明の実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

［構成の説明］
車載システム１は、自車両周辺を撮影するカメラ１０と、カメラ１０での撮影画像に基づき自車両の運転支援を行う運転支援装置２０と、１又は複数の車載装置３０等から構成される（図１参照）。

カメラ１０は、自車両周辺の撮影画像を示す画像信号を、運転支援装置２０へ出力する。
運転支援装置２０は、カメラ１０からの画像信号に基づき自車両周辺の撮影画像を生成し、該撮影画像から、例えば、歩行者や車両等の障害物や、路面に描かれた白線等を検出する。そして、運転支援装置２０は、検出結果に基づき車載装置３０等を制御し、運転支援を行う。具体的には、例えば、障害物との衝突回避や車線からの逸脱防止のための警報処理や操舵制御や速度制御等を行っても良いし、ヘッドライトの方向，明るさ等の制御や、アダプティブクルーズコントロール等を行っても良い。

また、カメラ１０は、センサ部１１と、異常検出部１２と、不揮発性の記憶装置であるＲＯＭ１３と、揮発性の記憶装置であるＲＡＭ１４と、発振器１５と、ＡＤコンバータ１６と、信号処理部１７と、カメラ１０を制御するためのレジスタ１８等を備える（図２参照）。

ＲＯＭ１３には、例えば、露光時間，露光ゲイン，フレームレート，撮像範囲等の設定値や、信号処理部１７での信号処理（例えば、画素欠陥の補正処理やノイズ除去処理）に用いられる設定値や、カメラ１０の検査に用いられる検査用データ等が記憶されている。なお、ＲＯＭ１３は、例えばフラッシュメモリのように、書き換え可能な不揮発性の記憶装置として構成されていても良い。

ＲＡＭ１４は、信号処理部１７での信号処理に用いられる。
発振器１５は、垂直・水平同期信号、及びピクセルクロック（以下、これらをタイミング信号という）を生成する。垂直同期信号は、１フレームの区切り（撮像範囲の総画素数）を設定する信号であり、水平同期信号は、フレーム内の水平方向毎の区切りを設定する信号である。また、ピクセルクロックは、センサ部１１にて撮像される画像の各画素の画素値を取得するタイミングを設定する信号である。

センサ部１１は、フォトダイオードアレイからなるＣＭＯＳイメージセンサ等の撮像素子や、増幅回路等を備える。センサ部１１では、ＲＯＭ１３に記憶されている設定値や、レジスタ１８に設定されている値に基づき、撮像素子の露光時間が制御される。なお、レジスタ１８の値は、運転支援装置２０から設定や参照が可能となっている。

撮像素子によって画像が撮像されると、撮像素子から出力される撮像画像のうち、撮像範囲の設定値により定められる領域に対応する各画素の輝度を示す信号値（アナログ値）が、露光ゲインの設定値に従って増幅部にて増幅される。そして、発振器１５にて生成されたタイミング信号に従ったタイミングで、増幅した信号値がＡＤコンバータ１６に出力される。

ＡＤコンバータ１６は、センサ部１１から入力された信号値をデジタル値である画素値に変換し、信号処理部１７に出力する。
信号処理部１７は、ＲＯＭ１３に記憶されている設定値やレジスタ１８の設定値に基づき、ＡＤコンバータ１６から順次入力される画素値に対し信号処理を行い、欠陥画素の補正やノイズの除去等を行う。そして、信号処理が行われた後の画素値等を示す画像信号を、運転支援装置２０に送信する。なお、該信号処理は、ＲＡＭ１４を用いて行われる。また、ＲＯＭ１３に記憶されているプログラムにより動作するＣＰＵを信号処理部１７に設け、該ＣＰＵにより該信号処理を行う構成としても良い。

また、異常検出部１２は、ＲＯＭ１３とＲＡＭ１４とレジスタ１８のうちの少なくとも一つについて、例えばノイズ等により生じたデータ化け（記憶されているデータに誤りが生じたこと、換言すれば、記憶されているデータが異常な値に変化したこと）を検出する。

一方、運転支援装置２０は、カメラ制御用Ｉ／Ｆ２１と、画像Ｉ／Ｆ２２と、制御部２３と、メモリ２４と、通信部２５とを備える（図３参照）。
カメラ制御用Ｉ／Ｆ２１は、カメラ１０と通信を行う部位である。

画像Ｉ／Ｆ２２は、カメラ１０からの画像信号の入力を受け付ける部位である。
メモリ２４は、ＲＡＭ等の揮発性の記憶装置として構成されており、カメラ１０にて生成された撮影画像データ等が記憶される。

制御部２３は、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等から構成され、ＲＯＭ等に保存されたプログラムを読み出して実行し、運転支援装置２０を統括制御する。また、制御部２３は、画像Ｉ／Ｆ２２を介して入力された画像信号に基づく撮影画像データをメモリ２４に記憶させ、該撮影画像データから生成される撮影画像に基づき上述した運転支援を行う。

また、制御部２３は、カメラ制御用Ｉ／Ｆ２１を介してカメラ１０と通信を行い、レジスタ１８の値の設定や参照を行う。
通信部２５は、車内ＬＡＮ（図示無し）を介して１又は複数の車載装置３０と通信を行う。

［動作の説明］
次に、カメラ１０にてＲＯＭ１３、ＲＡＭ１４、又は、レジスタ１８におけるデータ化けを検出する異常検出処理について、図４のフローチャートを用いて説明する。なお、本処理は、カメラ１０の異常検出部１２にて定期的なタイミングで実行される。

Ｓ１００では、異常検出部１２は、チェックサムや、ハミングコードや、ＣＲＣによりＲＯＭ１３、ＲＡＭ１４、又は、レジスタ１８におけるデータ化けの有無をチェックする。

具体的には、チェックサムを用いる場合であれば、例えば、予めＲＯＭ１３に記憶されるデータ（例えば、上述した各種設定値や検査用データ）のチェックサムコードを算出し、ＲＯＭ１３の所定アドレスに記憶させておいても良い。そして、異常検出部１２は、ＲＯＭ１３に記憶されているこれらのデータのチェックサムコードを再度算出し、所定アドレスに記憶されているチェックサムコードと比較することで、ＲＯＭ１３のデータ化けを検出しても良い。

また、ＣＲＣを用いる場合であれば、予めＲＯＭ１３に記憶されるデータにより構成されるビット列に対しての生成多項式とＣＲＣ符号とを算出し、ＲＯＭ１３の所定アドレスに記憶させておいても良い。そして、異常検出部１２は、ＲＯＭ１３に記憶されているこれらのデータにより構成されるビット列と、所定アドレスに記憶されている生成多項式及びＣＲＣ符号に基づき、ＲＯＭ１３のデータ化けを検出しても良い。

なお、ＲＡＭ１４又はレジスタ１８に記憶されているデータに対しても、異常検出部１２は、該データが更新される度に、同様にして、チェックサムコード、又は、生成多項式及びＣＲＣ符号を算出し、ＲＡＭ１４の所定アドレスや、所定のレジスタに記憶させても良い。そして、異常検出部１２は、これらに基づきＲＡＭ１４又はレジスタ１８におけるデータ化けを検出しても良い。

また、ハミングコードが付された状態で、ＲＯＭ１３、ＲＡＭ１４、又は、レジスタ１８にデータを記憶させても良い。そして、異常検出部１２は、ハミングコードに基づき、ＲＯＭ１３、ＲＡＭ１４、又は、レジスタ１８に記憶されている各データのデータ化けを検出しても良い。なお、訂正が可能な場合には、異常検出部１２は、データ化けを検出すること無く、データの訂正を行っても良い。

また、ＲＯＭ１３又はＲＡＭ１４に記憶されるデータを、複数の領域に記憶する構成としても良い。そして、異常検出部１２は、ＲＯＭ１３又はＲＡＭ１４に記憶されているデータを用いる場合等に、該データが記憶されている複数の領域にアクセスし、読み出したデータを比較することで、データ化けが生じたことを検出しても良い。

また、レジスタ１８の設定値が更新される度に、更新後の設定値のバックアップをＲＡＭ１４に保存し、予め定められたタイミングで、レジスタ１８の設定値と、バックアップされた設定値とを比較することで、データ化けが生じたことを検出しても良い。

Ｓ１０５では、異常検出部１２は、データ化けが検出されたか否かを判定し、肯定判定が得られた場合には（Ｓ１０５：Ｙｅｓ）、Ｓ１１０に移行し、そうでない場合には（Ｓ１０５：Ｎｏ）、本処理を終了する。

Ｓ１１０では、異常検出部１２は、運転支援装置２０に対し、ＲＯＭ１３、ＲＡＭ１４、又は、レジスタ１８のデータ化けが生じたことを示す異常信号を送信し、本処理を終了する。なお、異常検出部１２は、運転支援装置２０のカメラ制御用Ｉ／Ｆ２１に接続された出力ポートのレベルを変化させることで、異常信号を送信しても良い。また、異常検出部１２は、運転支援装置２０のカメラ制御用Ｉ／Ｆ２１に接続されたシリアル通信路を介して、異常信号を送信しても良い。

次に、運転支援装置２０にてカメラ１０のＲＯＭ１３、ＲＡＭ１４、又は、レジスタ１８におけるデータ化けに対処する異常対応処理について、図５のフローチャートを用いて説明する。なお、本処理は、運転支援装置２０の制御部２３にて定期的なタイミングで実行される。

Ｓ２００では、制御部２３は、カメラ制御用Ｉ／Ｆ２１を介してカメラ１０から異常信号を受信したか否かを判定し、肯定判定が得られた場合には（Ｓ２００：Ｙｅｓ）、Ｓ２０５に移行し、そうでない場合には（Ｓ２００：Ｎｏ）、本処理を終了する。

Ｓ２０５では、制御部２３は、自装置による運転支援を中止し、本処理を終了する。なお、これ以外にも、制御部２３は、例えば、カメラ制御用Ｉ／Ｆ２１を介してカメラ１０をリセットする処理等を行っても良い。

［効果］
カメラ１０におけるＲＯＭ１３、ＲＡＭ１４、又は、レジスタ１８のデータ化けが生じると、例えば、撮影画像の画質（色合いや感度等）が変化したり、ノイズが増加したり、縦縞，横縞等が発生し、撮影画像に異常をきたす恐れがある。そして、運転支援装置２０では、カメラ１０から取得した撮影画像にこのような異常が生じているかどうかを判別することができず、異常が生じた撮影画像に基づき不適切な運転支援が行われてしまうおそれがある。

これに対し、本実施形態では、カメラ１０に設けられた異常検出部１２によりＲＯＭ１３、ＲＡＭ１４、又は、レジスタ１８のデータ化けが検出されるため、データ化けを精度良く検出することができる。また、運転支援装置２０では、異常信号が入力されると運転支援が中止される。したがって、カメラ１０におけるＲＯＭ１３、ＲＡＭ１４、又は、レジスタ１８のデータ化けに対し、適切に対処することができる。

［他の実施形態］
（１）本実施形態のカメラ１０の異常検出部１２は、ＲＯＭ１３、ＲＡＭ１４、又は、レジスタ１８のデータ化けを検出する。しかしながら、これに限らず、異常検出部１２は、発振器１５やＡＤコンバータ１６等の他の部位の異常を検出すると共に、異常を検出した際には、運転支援装置２０に異常信号を出力しても良い。そして、運転支援装置２０は、このような異常信号を受信すると、ＲＯＭ１３等のデータ化けが生じた場合と同様、運転支援の中止等を行っても良い。このような構成を有する場合であっても、カメラ１０の異常に対し適切に対処することができる。

（２）また、本実施形態では、自車両周辺の撮影画像に基づき運転支援を行う車載システム１に本発明を適用した場合を例示した。しかしながら、本発明は、例えば、カメラによる撮影画像に基づき個人認証を行う認証システムや、カメラによる撮影画像に基づき侵入者等を検出する防犯システム等にも適用することができる。

［特許請求の範囲との対応］
上記実施形態の説明で用いた用語と、特許請求の範囲の記載に用いた用語との対応を示す。

車載システム１が制御システムの一例に、運転支援装置２０が制御装置の一例に、センサ部１１，発振器１５，ＡＤコンバータ１６，信号処理部１７が撮像部の一例に、ＲＯＭ１３，ＲＡＭ１４，レジスタ１８が記憶手段の一例に、異常検出部１２が検出手段の一例に相当する。

また、カメラ制御用Ｉ／Ｆ２１が受付手段の一例に、画像Ｉ／Ｆ２２が取得手段の一例に、制御部２３が実行手段の一例に相当する。
また、異常検出処理のＳ１１０が出力手段の一例に相当する。

また、異常対応処理のＳ２０５が異常対応手段の一例に相当する。

１…車載システム、１０…カメラ、１１…センサ部、１２…異常検出部、１３…ＲＯＭ、１４…ＲＡＭ、１５…発振器、１６…ＡＤコンバータ、１７…信号処理部、１８…レジスタ、２０…運転支援装置、２１…カメラ制御用Ｉ／Ｆ、２２…画像Ｉ／Ｆ、２３…制御部、２４…メモリ、２５…通信部、３０…車載装置。

Claims

撮影画像を生成する撮像部（１１，１３〜１７）を備えるカメラ（１０）から、前記撮影画像を取得する取得手段（２２）と、
前記取得手段により取得された前記撮影画像に基づき処理を実行する実行手段（２３）と、
前記カメラにて検出された前記撮像部の異常を示す異常信号の入力を受け付ける受付手段（２１）と、
前記受付手段が前記異常信号の入力を受け付けると、該異常信号が示す前記撮像部の異常に対処するための処理を実行する異常対応手段（Ｓ２０５）と、
を備えることを特徴とする制御装置（２０）。
請求項１に記載の制御装置において、
前記撮像部には、前記撮影画像の生成に関する処理に用いられるデータが記憶されている記憶手段（１３，１４，１８）が設けられており、
前記異常信号が示す異常とは、前記記憶手段に記憶されている前記データに誤りが生じたことであること、
を特徴とする制御装置。
請求項１又は請求項２に記載の制御装置において、
前記制御装置は、車両に搭載されていること、
を特徴とする制御装置。
撮影画像を生成する撮像部（１１，１３〜１７）を備えるカメラ（１０）と、前記撮影画像に基づき処理を行う制御装置（２０）とからなる制御システム（１）であって、
前記カメラは、
前記撮像部の異常を検出する検出手段（１２）と、
前記検出手段により前記撮像部の異常が検出されたことを示す異常信号を前記制御装置に出力する出力手段（Ｓ１１０）と、
を備え、
前記制御装置は、
前記カメラから前記撮影画像を取得する取得手段（２２）と、
前記取得手段により取得された前記撮影画像に基づき処理を実行する実行手段（２３）と、
前記カメラから前記異常信号の入力を受け付ける受付手段（２１）と、
前記受付手段が前記異常信号の入力を受け付けると、該異常信号が示す前記撮像部の異常に対処するための処理を実行する異常対応手段（Ｓ２０５）と、
を備えることを特徴とする制御システム。