JP2019114848A - 撮影システム、撮影ユニット、情報処理ユニット、撮影ユニットの異常検出方法 - Google Patents
撮影システム、撮影ユニット、情報処理ユニット、撮影ユニットの異常検出方法 Download PDFInfo
- Publication number
- JP2019114848A JP2019114848A JP2017245015A JP2017245015A JP2019114848A JP 2019114848 A JP2019114848 A JP 2019114848A JP 2017245015 A JP2017245015 A JP 2017245015A JP 2017245015 A JP2017245015 A JP 2017245015A JP 2019114848 A JP2019114848 A JP 2019114848A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image sensor
- unit
- light
- abnormality detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
ところが、車載カメラの出荷後に、画像の表示単位である画素が何らかの不具合により正常に表示されない場合、上記ECUでは車載カメラが正常と判断してしまう。出荷後の画素異常を検出する方法として、所定の画素と所定の画素の周囲の複数の画素との信号出力レベルの差に基づいて、欠陥画素と判定する技術が開示されている(例えば特許文献1参照)。
そこで、本発明は、画素異常の検出精度を高めることを目的とする。
図1は本発明の実施形態に係る撮影システム1の構成を示すブロック図である。
この撮影システム1は、車両に搭載された撮影ユニット11(以下、車載カメラと言う)と、車載カメラ11の異常を検出する情報処理ユニット31とを備えている。
この撮影システム1は、車載カメラ11を利用した車載システムに使用される。例えば、この撮影システム1は、ドアミラーの代わりに、車載カメラ11と表示装置を利用して周囲を確認可能にする電子ミラーシステム、又は、車載カメラ11を利用して車両を自動運転(先行車追従、自動ブレーキ等を含む)する自動運転システムに使用される。
イメージセンサー12は、撮影画像に対応する画像データを出力するセンサーである。本構成のイメージセンサー12は、マトリクス状に配置されたCMOSの光電変換素子と、電子回路とを備えたCMOSイメージセンサーであり、これらによって、受光部16、光電変換部17、画像処理部18、画像データ出力部19、露光時間制御部20、及びカメラ制御部21が構成される。
カメラ制御部21は、車載カメラ11の各部を制御することにより、露光時間制御部20による露光時間等を制御する。また、カメラ制御部21は、情報処理ユニット31と通信接続され、情報処理ユニット31からの信号に基づいて車載カメラ11の動作を停止させることが可能である。
しかし、イメージセンサー12は、温度が高い環境で使用されたり、微量なX線等の影響を受けたりすることで、光電変換素子等にダメージが蓄積され、出荷後に滅点や輝点が発生することがある。
情報処理ユニット31は、CPUと周辺回路とからなるコンピューターを備え、所定の制御プログラムをCPUが実行することにより、画像データ入力部32、画像データ判定部33、画像データ出力部34、画像データ異常判定部35、及び信号出力部36が構成される。
画像データ入力部32は、車載カメラ11から出力される画像データ(車載カメラ11の出力画像に相当)を入力する。画像データ判定部33及び画像データ異常判定部35は、入力した画像を処理する情報処理部として機能する。具体的には、画像データ判定部33は、画像データを構成する各フレーム画像の画像識別番号を読み取ることにより、異常検出用の画像か否かを判定する。
画像データ異常判定部35は、画像データ判定部33によって特定された異常検出用の画像に基づいて、この画像中の異常画素数を計数し、計数結果に基づいて画像データが正常か否か、つまり、イメージセンサー12の画像が正常か否かを判定する。
信号出力部36は、車載カメラ11と通信接続され、画像データが正常でない(異常)と判定された場合、車載カメラ11を停止させる信号である停止信号を、車載カメラ11のカメラ制御部21に出力する。
車載カメラ11は車両側からの電源供給等によって動作を開始し、まず、イメージセンサー12によって実映像の撮影を開始する(ステップS1)。
図3は車載カメラ11の出力画像を模式的に示す図である。図3に示すように、イメージセンサー12からは、静止画に相当する1フレームの画像(図3中、フレーム画像G1、G2、G3、G4・・・)が順次出力され、つまり、動画の画像データが出力される。
なお、フレーム画像G1、G4に対応する実画像は、車載カメラ11によって、車両の運転者がドアミラーによって得られる周囲画像と同等の画像を撮影している場合を例示している。
この第1処理の動作は次の通りである。まず、カメラ制御部21は、露光時間制御部20によって、露光時間を、光源22の光によって画素値(例えば輝度レベル)を飽和させるのに十分な最大定値である第1露光時間(例えば30fpsの場合、33ms)に設定する。次に、カメラ制御部21は、露光開始と同時に光源22を発光させ、露光終了と同時に、光源22を消灯させる。これによって、図3に示すように、イメージセンサー12の滅点(図3中の黒点P1に相当)だけが顕在化したフレーム画像G2(イメージセンサー12の滅点の検出用画像に相当)が得られる。
なお、第1処理において、光源22を露光時間の間、継続して発光させる場合を説明したが、これに限定されない。例えば、フレーム画像GXと同等の画像が得られる範囲で、光源22の発光時間を露光時間よりも短くしてもよいし、光源22を複数回、発光させてもよい。
これによって、図3に示すように、イメージセンサー12の輝点(図3中の白点P2に相当)だけが顕在化したフレーム画像G3が得られる。このフレーム画像G3は、出力画像の輝点の検出用画像に使用される。なお、第2露光時間は0msが好ましいが、輝点を判別可能な範囲であれば0ms以外でもよい。
カメラ制御部21は、第2処理が終了した後、車載カメラ11への電源供給が停止されるまで、又は、情報処理ユニット31から停止信号を受信するまで、撮影を継続する(ステップS5)。
情報処理ユニット31は、車両側からの電源供給等によって動作を開始し(ステップS11)、車載カメラ11から画像データを入力すると(ステップS11)、画像データ判定部33は、画像データを構成する各フレーム画像の画像識別番号に基づいて、異常検出用の画像か否かを判定する(ステップS12)。
異常検出用の画像でない場合(ステップS12;NO)、情報処理ユニット31は、その画像データを画像データ出力部34に伝送し、外部に出力させる(ステップS13)。
この場合、異常検出用の画像は、滅点又は輝点に対応する黒点P1又は白点P2だけが現れた画像(フレーム画像G2、G3)であるので、滅点、及び輝点のそれぞれを容易に特定でき、それぞれの異常画素数を正確に計数することができる。例えば、各画素の受光量に比例する画素値が、滅点判定閾値を下回る画素を滅点と判定し、輝点判定閾値を上回る画素を輝点と判定する、といった簡易な方法だけで異常画素を検出できる。
一方、異常画素数が閾値未満の場合(ステップS15;YES)、情報処理ユニット31は、ステップS11の処理に移行する。以上が情報処理ユニット31の動作である。
さらに、情報処理ユニット31は、光源22を消灯し、且つ、イメージセンサー12の露光時間を最小値である第2露光時間にしたときの出力画像に基づいて、出力画像の輝点を検出するので、輝点を高精度で検出できる。
また、撮影開始時に、異常検出処理の対象となる異常検出用のフレーム画像が出力されるので、撮影画像を、電子ミラー、又は自動運転に利用する際に、早期のタイミングで画素異常を検出できる。従って、画素異常のまま電子ミラー又は自動運転への利用が継続する事態を効果的に防止できる。
例えば、情報処理ユニット31が、電子ミラーシステム内、又は自動運転システム内にあってもよい。また、車載カメラ11と情報処理ユニット31とが一体でもよい。
さらに、動画を撮影する撮影ユニットを使用する場合を説明したが、静止画を撮影する撮影ユニットでもよい。例えば、一眼レフタイプのデジタルカメラ等に生じる画像異常を、本発明によって検出してもよい。
また、図2及び図4に示すフローチャートの処理単位は、処理の理解を容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本願発明が制限されることはない。すなわち、各処理は、処理内容に応じて、さらに多くの処理ステップに分割することもできる。また、1つの処理ステップがさらに多くの処理を含むように分割することもできる。
11 撮影ユニット(車載カメラ)
12 イメージセンサー
13 ケース
15 レンズ部
16 受光部
17 光電変換部
18 画像処理部
19、34 画像データ出力部
20 露光時間制御部
21 カメラ制御部
22 光源
31 情報処理ユニット(異常検出部)
32 画像データ入力部
33 画像データ判定部(情報処理部)
35 画像データ異常判定部(情報処理部)
36 信号出力部
Claims (9)
- イメージセンサーと、前記イメージセンサーを、ケース外の映像を撮影可能に収容するケースとを備える撮影システムにおいて、
前記ケース内に配置され、前記イメージセンサーの受光部に、前記イメージセンサーの滅点を顕在化させる光を照射する光源と、
前記光源の光が照射されたときの前記イメージセンサーの出力画像に基づいて、前記出力画像の画素異常を検出する異常検出処理を行う異常検出部と、
を備えることを特徴とする撮影システム。 - 前記イメージセンサーの露光時間を制御する露光時間制御部を備え、
前記異常検出部は、前記異常検出処理として、更に、前記露光時間を、前記イメージセンサーの輝点を顕在化させる設定露光時間に制御したときの前記出力画像に基づいて、前記出力画像の画素異常を検出することを特徴とする請求項1に記載の撮影システム。 - 前記異常検出部は、前記光源の光が照射され、且つ、前記イメージセンサーの露光時間を、前記光源の光で前記イメージセンサーの画素値を飽和させる第1露光時間にしたときの前記出力画像に基づいて、前記出力画像の滅点を検出するとともに、
前記光源を消灯し、且つ、前記イメージセンサーの露光時間を最小値である第2露光時間にしたときの前記出力画像に基づいて、前記出力画像の輝点を検出することを特徴とする請求項2に記載の撮影システム。 - 前記出力画像は、前記異常検出処理の対象となる異常検出用のフレーム画像が混在した動画の画像であり、前記異常検出用のフレーム画像には、異常検出用の画像であることを示す識別情報が付加されていることを特徴とする請求項1から3のいずれかに記載の撮影システム。
- 前記イメージセンサーの撮影開始時に、前記異常検出処理の対象となる異常検出用のフレーム画像が出力されることを特徴とする請求項1から4のいずれかに記載の撮影システム。
- 前記イメージセンサーによって撮影を行う間、前記異常検出処理の対象となる異常検出用のフレーム画像が、時間間隔を空けて継続的に出力されることを特徴とする請求項1から5のいずれかに記載の撮影システム。
- イメージセンサーと、前記イメージセンサーを、ケース外の映像を撮影可能に収容するケースとを備える撮影ユニットにおいて、
前記ケース内に配置され、前記イメージセンサーの受光部に、前記イメージセンサーの滅点を顕在化させる光を照射する光源を有し、前記光源の光が照射されたときの前記イメージセンサーの出力画像を少なくとも出力することを特徴とする撮影ユニット。 - 画像を入力する入力部と、入力した画像を処理する情報処理部とを備える情報処理ユニットにおいて、
前記入力部は、請求項7記載の撮影ユニットから、前記光源の光が照射されたときの前記出力画像を少なくとも入力し、
前記情報処理部は、入力した前記出力画像に基づいて、前記出力画像の画素異常を検出する異常検出処理を行うことを特徴とする情報処理ユニット。 - イメージセンサーと、前記イメージセンサーを、ケース外の映像を撮影可能に収容するケースとを備えた撮影ユニットの異常検出方法において、
前記ケース内に配置された光源から、前記イメージセンサーの受光部に、前記受光部の滅点を顕在化させる光を照射し、
前記光源の光が照射されたときの前記イメージセンサーの出力画像に基づいて、前記出力画像の画素異常を検出する異常検出処理を行うことを特徴とする撮影ユニットの異常検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017245015A JP7048301B2 (ja) | 2017-12-21 | 2017-12-21 | 撮影システム、撮影ユニット、情報処理ユニット、撮影ユニットの異常検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017245015A JP7048301B2 (ja) | 2017-12-21 | 2017-12-21 | 撮影システム、撮影ユニット、情報処理ユニット、撮影ユニットの異常検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019114848A true JP2019114848A (ja) | 2019-07-11 |
JP7048301B2 JP7048301B2 (ja) | 2022-04-05 |
Family
ID=67223261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017245015A Active JP7048301B2 (ja) | 2017-12-21 | 2017-12-21 | 撮影システム、撮影ユニット、情報処理ユニット、撮影ユニットの異常検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7048301B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001128068A (ja) * | 1999-11-01 | 2001-05-11 | Sharp Corp | ビデオカメラ |
JP2002112118A (ja) * | 2000-09-27 | 2002-04-12 | Matsushita Electric Ind Co Ltd | 固体撮像素子の欠陥画素検出装置 |
JP2005318465A (ja) * | 2004-04-30 | 2005-11-10 | Casio Comput Co Ltd | 撮像装置及びその画像データ処理方法 |
-
2017
- 2017-12-21 JP JP2017245015A patent/JP7048301B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001128068A (ja) * | 1999-11-01 | 2001-05-11 | Sharp Corp | ビデオカメラ |
JP2002112118A (ja) * | 2000-09-27 | 2002-04-12 | Matsushita Electric Ind Co Ltd | 固体撮像素子の欠陥画素検出装置 |
JP2005318465A (ja) * | 2004-04-30 | 2005-11-10 | Casio Comput Co Ltd | 撮像装置及びその画像データ処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7048301B2 (ja) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4738778B2 (ja) | 画像処理装置、運転支援装置および運転支援システム | |
US7889890B2 (en) | Image capture apparatus and control method therefor | |
JP2010062942A (ja) | 異常検知装置 | |
JP2007147506A (ja) | 配管検査システム及びそれに用いる自走式配管検査装置 | |
JP2017225073A (ja) | 撮像装置とその制御方法、プログラム及び撮像システム | |
WO2014125837A1 (ja) | 撮像装置の異物情報検出装置および異物情報検出方法 | |
CN112770021B (zh) | 摄影机与滤片切换方法 | |
JP2012010282A (ja) | 撮像装置、露光制御方法及び露光制御プログラム | |
JP2019114848A (ja) | 撮影システム、撮影ユニット、情報処理ユニット、撮影ユニットの異常検出方法 | |
KR101615381B1 (ko) | 이미지 획득 방법 및 디지털 카메라 시스템 | |
JP2007006024A (ja) | 撮像装置 | |
EP3099059B1 (en) | Camera having hdr during pre-flash | |
JP2010041120A (ja) | 撮像装置及びこの撮像装置に適用されるレンズカバー | |
JP5407785B2 (ja) | 撮像装置及び画像処理状態判断方法 | |
CN115398883B (zh) | 红外线拍摄装置以及红外线拍摄系统 | |
JP2007166142A (ja) | 撮像装置 | |
JP7543930B2 (ja) | 検出システム、検出装置及びプログラム | |
KR101531195B1 (ko) | 카메라 영상의 블루밍 제거장치 및 방법 | |
JP2011160133A (ja) | 広ダイナミックレンジ撮像装置 | |
JP7118318B2 (ja) | 撮像装置故障診断システム | |
JP2004072415A (ja) | 侵入物検出装置 | |
JP7034792B2 (ja) | 撮像装置とその制御方法及びプログラム | |
JP2010008717A (ja) | 撮影装置 | |
JP2008141248A (ja) | 撮像装置における自己診断装置 | |
US20220103769A1 (en) | An Imaging Device and a Method of Enabling Rolling Shutter Image Sensor to Function as Global Shutter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220324 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7048301 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |