JP2010171531A - 撮像制御装置 - Google Patents
撮像制御装置 Download PDFInfo
- Publication number
- JP2010171531A JP2010171531A JP2009010098A JP2009010098A JP2010171531A JP 2010171531 A JP2010171531 A JP 2010171531A JP 2009010098 A JP2009010098 A JP 2009010098A JP 2009010098 A JP2009010098 A JP 2009010098A JP 2010171531 A JP2010171531 A JP 2010171531A
- Authority
- JP
- Japan
- Prior art keywords
- correction amount
- correction
- imaging
- image
- coincidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【解決手段】撮像制御装置10は、撮像素子23から出力される画像データを補正する機構部22および信号補正部31と、複数の補正毎の補正量が異なるように設定する補正量制御部40と、補正量の変化に応じて所定時間内に複数の画像データを取得し、各補正量毎に画像データに基づき処理用画像を生成する処理用データ生成部33と、処理用画像を複数の領域画像に分割し、各領域画像毎から複数の特徴量を抽出する特徴量抽出部35と、複数の特徴量の基準値を記憶する基準値記憶部37と、補正量を記憶する補正量記憶部39と、基準値と特徴量との一致度を演算する一致度演算部36と、一致度が最も高い基準値に対応する補正量を基準補正量として設定する際に、各領域画像毎に一致度が異なる場合には複数の領域領像間において一致度を比較する基準補正量設定部38とを備える。
【選択図】図1
Description
また、従来、例えば車室内の前方座席領域を撮像する撮像装置の撮像画像内に露光枠を設定して、この露光枠内の画素毎の輝度値に基づいて撮像装置の露光を調整する車両用撮像装置が知られている(例えば、特許文献2参照)。
また、上記従来技術に係る車両用撮像装置によれば、単に、露光枠内の領域が所望の明度となるように露光を調整するだけであって、撮像状態を詳細に最適化することは困難であるという問題が生じる。
本発明は上記事情に鑑みてなされたもので、撮像状態を容易に最適化することが可能な撮像制御装置を提供することを目的としている。
さらに、本発明の第4態様に係る撮像制御装置によれば、不適切な基準補正量が設定されることを防止することができる。
本実施の形態による撮像制御装置10は、例えば車両用の乗員検知装置に備えられ、図1に示すように、例えば車両用の乗員検知装置に備えられ、図1に示すように、車室内の座席領域を撮像対象領域とする撮像装置11および光源12と、処理装置13とを備えて構成されている。
機構部22は、例えばシャッタおよび絞り機構などを備え、処理装置13から出力される制御信号に応じて撮像時のシャッタスピードおよび絞り値を制御する。
撮像素子23は、例えば可視光領域から赤外線領域にて撮像可能なCMOSセンサなどを備え、撮像により得られる画像データの信号を出力する。
撮像装置11は、処理装置13から出力される制御信号に応じた撮像状態(つまり、シャッタスピードおよび絞り値など)毎に、複数(例えば、2つ)の撮像素子23によりほぼ同時(つまり、所定時間以内)に異なる方向から撮像をおこない、複数(例えば、2つ)の画像データの信号を出力する。
光源12は、例えば可視光領域から赤外線領域に亘る光を発光するLEDなどから構成され、撮像装置11の撮像対象領域に光を照射する。
例えば、信号補正部31は、予め作成された補正マップ、撮像装置11の出力特性や撮像状態や撮像対象領域の環境などと輝度補正との相間を示す補正マップにより画像データの信号に階調補正をおこなう。
距離分布演算部32は、信号補正部31から出力される撮像時刻がほぼ等しい複数(例えば、2つ)の画像データに基づきステレオマッチングをおこない、画像データを構成する画素毎に実空間での撮像対象の距離を演算し、画像データの画素での距離の分布のデータ(距離分布データ)を生成する。
距離分布画像LPは、例えば、画像データの各画素の輝度を各画素毎に対応する実空間での撮像対象の距離に応じた値とした3次元の情報(つまり、2次元座標上での画素の位置と画素の輝度)を有する可視化可能な画像のデータとされている。なお、距離分布データは、可視化可能な画像のデータに限定されず、単に、2次元座標上での画素の位置と、各画素毎に対応する実空間での撮像対象の距離の情報とが対応付けられた3次元のデータであればよい。
例えば図2に示すように、3回の撮像時刻毎の距離分布画像LPにおいて、各画素毎に対応する実空間での撮像対象の距離が短くなることに伴い、画素の輝度が大きくなるように設定されている状態では、処理用データ生成部33は、距離の分散が所定値未満となることで距離が無限大であると判断されるデータを距離分布画像LPから除外して、処理用画像TPを生成する。なお、処理用データは、可視化可能な画像のデータに限定されず、単に、2次元座標上での画素の位置と、各画素毎に対応する実空間での撮像対象の距離の情報とが対応付けられた3次元のデータであればよい。
例えば図2に示すように、距離データ生成部34は、撮像装置11の撮像状態(つまり、シャッタスピードおよび絞り値など)あるいは信号補正部31の画像処理の補正が異なる3回の撮像時刻毎の処理用画像TPに基づき、互いに画素のデータが存在しない領域を補完するようにして、また、互いに画素のデータが存在する領域では、例えば距離の情報のばらつき度合いなどに応じて距離の情報の信頼度が高い領域のみを対象として、あるいは、距離の情報が類似する領域を対象として、データの合成をおこない、距離画像PLを生成する。なお、距離データは、可視化可能な画像のデータに限定されず、単に、2次元座標上での画素の位置と、各画素毎に対応する実空間での撮像対象の距離の情報とが対応付けられた3次元のデータであればよい。
複数の特徴量は、例えば下記表1に示す特徴量(fi (MODE))のように、処理用画像TPの輝度の度数分布での度数に係る度数状態量(例えば、ゼロ輝度数、25%輝度、50%輝度、75%輝度、飽和(上下)輝度数など)と、処理用画像TPの輝度に係る輝度状態量(例えば、最頻値など)と、処理用画像TPの輝度の度数分布での統計値に係る統計状態量(例えば、平均輝度、分散など)とから構成されている。
25%輝度と、50%輝度と、75%輝度とは、例えば、処理用画像TPの輝度の度数分布において輝度0%から輝度100%に向かい度数(つまり画素数)を積算した場合に、この積算値が処理用画像TPの全画素数に対して、順次、25%と、50%と、75%とに到達するときの輝度である。
飽和(上下)輝度数は、例えば、輝度0%の度数(つまり画素数)および輝度100%の度数(つまり画素数)である。
最頻値は、処理用画像TPの輝度の度数分布において、度数(つまり画素数)が最大となる輝度である。
平均輝度および分散は処理用画像TPの輝度の度数分布での平均値および分散である。
また、特徴量の個数は、例えば2のべき乗の個数とすることで、後述する一致度演算部36での演算処理を迅速におこなうことができる。
例えば図3に示すように車室内に存在する乗員のみを注目領域とする場合には、特徴量抽出部35は、撮像装置11から出力された2つの画像データPa,Pbに基づきステレオマッチングにより生成された距離分布画像LPから、予め乗員が存在しない状態で作成された基準距離のデータ(つまり車室内装に対する距離の情報)と一致する距離の情報を有する画素領域を除外して注目領域画像NPを生成する。そして、この注目領域画像NPにて距離の情報を有する画素領域を注目領域Rとし、この注目領域Rを処理用データ内に設定する。
例えば図4に示すように処理用画像TPにおいて車室内に存在する乗員のみを注目領域とし、この注目領域を乗員毎に分割して複数の領域データ(領域画像)を設定する場合には、特徴量抽出部35は、例えば処理用画像TPを、乗員が存在する注目領域Rと、車室内装のみが存在する領域Aと、外乱光による露光状態の変動が大きい領域Bとに分割する。さらに、乗員が存在する注目領域Rを、乗員毎に分割して複数の領域画像Ra,Rbを設定する。
例えば所定の補正モードM1にて撮像装置11による撮像が実行されて上記表1に示すような複数(例えば、8つ)の特徴量(fi M1)が特徴量抽出部35により抽出されると、一致度演算部36は、例えば下記表2に示すように、補正モードM1に対して複数(例えば、8つ)の領域状態(S1,…,S8)毎に設定された基準値(Fi (M1,S1),…,Fi (M1,S8))を基準値記憶部37から取得して、各領域状態(S1,…,S8)毎に特徴量(fi M1)と基準値(Fi (M1,S1),…,Fi (M1,S8))との内積を演算する。なお、下記表2においては、処理用画像TPの注目領域Rが2つの領域画像Ra,Rbに分割されていることから、内積の演算は各領域画像Ra,Rb毎に実行される。
例えば下記表3に示すように、上記表2に示す各領域状態(S1,…,S8)に対しては、各補正モード(MODE1,…,MODE2)が対応付けられて記憶されている。
また、補正量制御部40は、基準補正量設定部38から出力される基準補正量に応じて、光源12の照射状態を制御する制御信号を出力する。
例えば、撮像制御部41は、一致度演算部36から出力される一致度の全てが所定の下限値Lth未満である場合には、撮像装置11による撮像を停止する。
そして、ステップS02においては、撮像装置11の2つの撮像素子23によりほぼ同時に異なる方向(例えば、撮像対象領域に対して水平方向で左右にずれた位置)から撮像された左右の画像データPa,Pbを取得する。
そして、ステップS04においては、補正後の2つの画像データPa,Pbに基づきステレオマッチングをおこなう。
そして、ステップS05においては、2つの画像データPa,Pbを構成する画素毎に実空間での撮像対象の距離を演算し、距離分布画像LPを生成する。
そして、ステップS07においては、処理用画像TPにおいて各画素毎に対応する実空間での撮像対象の距離が所定の基準距離と一致あるいは所定の基準距離範囲内の値となる画素領域を除外して注目領域Rを設定する。
そして、ステップS08においては、例えば車室内の複数の乗員毎などに対応して、注目領域Rを複数の領域画像に分割する。
そして、ステップS10においては、複数の特徴量による多次元ベクトル空間において、複数の特徴量と基準値との相間(例えば、内積など)を演算することで、複数の特徴量と基準値との一致度を算出する。
そして、ステップS11においては、複数の領域画像間において一致度を比較する。
そして、ステップS12においては、複数の領域画像間での一致度の比較結果に応じて、基準補正量を設定する。
この判定結果が「YES」の場合には、上述したステップS03に進む。
一方、この判定結果が「NO」の場合には、ステップS14に進む。
そして、ステップS14においては、基準補正量に応じて撮像装置11の撮像状態(つまり、シャッタスピードおよび絞り値など)を変更して新たな処理用画像TPを取得することが指示されているか否かを判定する。
この判定結果が「YES」の場合には、上述したステップS01に進む。
一方、この判定結果が「NO」の場合には、ステップS15に進む。
そして、ステップS15においては、複数の処理用画像TPを合成して距離画像PLを生成し、エンドに進む。
さらに、全ての補正量に対して一致度が所定の下限値Lth未満となる領域を除外することにより、基準補正量をより一層適切に設定することができる。
さらに、複数の領域データ毎の一致度の全てが所定の下限値Lth未満となる場合に、異常状態であると判定することにより、不適切な基準補正量が設定されることを防止することができる。
22 機構部(補正手段)
23 撮像素子
31 信号補正部(補正手段)
33 処理用データ生成部(処理用画像生成手段)
35 特徴量抽出部(特徴量抽出手段)
36 一致度演算部(演算手段)
37 基準値記憶部(第1記憶手段)
38 基準補正量設定部(基準補正量設定手段、異常判定手段)
39 補正量記憶部(第2記憶手段)
40 補正量制御部(補正量設定手段)
Claims (4)
- 複数の被写体を含む所定の撮像対象領域を撮像して得た画像からなる画像情報を出力する撮像素子と、
前記撮像素子から出力される前記画像情報を補正する補正手段と、
複数の前記補正毎の補正量が異なるように設定する補正量設定手段と、
前記補正量の変化に応じて所定時間内に複数の前記画像情報を取得し、各前記補正量毎に前記画像情報に基づき処理用画像を生成する処理用画像生成手段と、
前記処理用画像を複数の領域画像に分割し、各前記複数の前記領域画像毎から複数の特徴量を抽出する特徴量抽出手段と、
各前記複数の前記領域画像毎に前記複数の前記特徴量の基準値を記憶する第1記憶手段と、
前記補正量を記憶する第2記憶手段と、
前記第1記憶手段に記憶された前記基準値と、前記特徴量抽出手段により抽出された前記特徴量との一致度を演算する演算手段と、
前記演算手段により演算された前記一致度あるいは前記一致度に係る一致度状態量が最も高い前記基準値に対応する前記第2記憶手段に記憶された前記補正量を、基準補正量として設定する際に、各前記複数の前記領域画像毎に前記一致度が異なる場合には、前記複数の前記領域画像間において前記一致度を比較して前記基準補正量を設定する基準補正量設定手段と
を備えることを特徴とする撮像制御装置。 - 前記基準補正量設定手段は、各前記複数の前記領域画像毎の前記一致度のうち所定一致度範囲内の前記一致度の和が最も大きい前記基準値に対応する前記第2記憶手段に記憶された前記補正量を、前記基準補正量として設定することを特徴とする請求項1に記載の撮像制御装置。
- 前記基準補正量設定手段は、各前記複数の前記領域画像毎の前記一致度のうち、全ての前記補正量に対して所定領域での前記一致度が所定下限値未満となる場合に、前記所定領域以外の前記一致度に基づき、前記基準補正量を設定することを特徴とする請求項1または請求項2に記載の撮像制御装置。
- 各前記複数の前記領域画像毎の前記一致度の全てが所定下限値未満となる場合に、異常状態であると判定する異常判定手段を備えることを特徴とする請求項1から請求項3の何れか1つに記載の撮像制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009010098A JP5271723B2 (ja) | 2009-01-20 | 2009-01-20 | 撮像制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009010098A JP5271723B2 (ja) | 2009-01-20 | 2009-01-20 | 撮像制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010171531A true JP2010171531A (ja) | 2010-08-05 |
JP5271723B2 JP5271723B2 (ja) | 2013-08-21 |
Family
ID=42703261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009010098A Expired - Fee Related JP5271723B2 (ja) | 2009-01-20 | 2009-01-20 | 撮像制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5271723B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0486645A (ja) * | 1990-07-27 | 1992-03-19 | Fuji Photo Film Co Ltd | 複写装置の露光量決定方法 |
JPH1125263A (ja) * | 1997-07-08 | 1999-01-29 | Canon Inc | 対象物特徴点検出装置、焦点調節装置、露出制御装置及びカメラ |
JP2003269917A (ja) * | 2002-03-15 | 2003-09-25 | Sony Corp | 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置 |
JP2007198929A (ja) * | 2006-01-27 | 2007-08-09 | Hitachi Ltd | 車両内状態検知システム,車両内状態検知装置および方法 |
-
2009
- 2009-01-20 JP JP2009010098A patent/JP5271723B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0486645A (ja) * | 1990-07-27 | 1992-03-19 | Fuji Photo Film Co Ltd | 複写装置の露光量決定方法 |
JPH1125263A (ja) * | 1997-07-08 | 1999-01-29 | Canon Inc | 対象物特徴点検出装置、焦点調節装置、露出制御装置及びカメラ |
JP2003269917A (ja) * | 2002-03-15 | 2003-09-25 | Sony Corp | 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置 |
JP2007198929A (ja) * | 2006-01-27 | 2007-08-09 | Hitachi Ltd | 車両内状態検知システム,車両内状態検知装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5271723B2 (ja) | 2013-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9172931B2 (en) | Projection display device, information processing device, projection display system, and program | |
US10559095B2 (en) | Image processing apparatus, image processing method, and medium | |
JP6764574B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び、手術システム | |
JP2012070389A5 (ja) | ||
KR20090089071A (ko) | 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체 | |
JP2010244326A (ja) | 車載周辺画像表示装置 | |
JP2013005234A (ja) | 車載カメラ装置 | |
JP2016133674A5 (ja) | ||
JP2012195668A5 (ja) | ||
JP2012124555A (ja) | 撮像装置 | |
JP2013135341A5 (ja) | ||
JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
JP2006279546A (ja) | 電子カメラ、画像処理プログラム、および画像処理方法 | |
JP6412386B2 (ja) | 画像処理装置およびその制御方法、プログラムならびに記録媒体 | |
US10362235B2 (en) | Processing apparatus, processing system, image pickup apparatus, processing method, and storage medium | |
JP2019106604A5 (ja) | ||
JP5822492B2 (ja) | 撮像装置及び制御方法 | |
US10863103B2 (en) | Setting apparatus, setting method, and storage medium | |
JP2011023973A (ja) | 撮像制御装置 | |
EP2654287A2 (en) | Auxiliary focusing system and focusing method | |
JP5156654B2 (ja) | 撮像制御装置 | |
JP5256056B2 (ja) | 撮像制御装置 | |
JP5271723B2 (ja) | 撮像制御装置 | |
US20100302398A1 (en) | Digital camera dust error photographed image correction | |
US10721395B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120522 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130513 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |