JP2002084534A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JP2002084534A
JP2002084534A JP2000273297A JP2000273297A JP2002084534A JP 2002084534 A JP2002084534 A JP 2002084534A JP 2000273297 A JP2000273297 A JP 2000273297A JP 2000273297 A JP2000273297 A JP 2000273297A JP 2002084534 A JP2002084534 A JP 2002084534A
Authority
JP
Japan
Prior art keywords
filter
region
image processing
processing apparatus
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000273297A
Other languages
English (en)
Other versions
JP2002084534A5 (ja
JP4641601B2 (ja
Inventor
Masahiro Yamada
正博 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2000273297A priority Critical patent/JP4641601B2/ja
Publication of JP2002084534A publication Critical patent/JP2002084534A/ja
Publication of JP2002084534A5 publication Critical patent/JP2002084534A5/ja
Application granted granted Critical
Publication of JP4641601B2 publication Critical patent/JP4641601B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】 車両に搭載して好適な画像処理装置であっ
て、より一層鮮明な画像を得ることができ、また、画像
メモリのメモリ容量を従来よりも大幅に減らすことがで
きるようにする。 【解決手段】 撮像素子14を有する光学系11と、そ
の撮像信号Sを入力として画像処理を行う演算処理部1
2とからなる画像処理装置10であって、撮像素子14
は画素をマトリクス状に配列してなり、かつ、その撮像
面14’は、行単位または列単位で複数の領域に区分さ
れ、第1フィルタF1を備える第1領域I、第2フィル
タF2を備える第2領域IIおよびフィルタを設けない第
3領域IIIのうちの少なくともいずれか2つの領域によ
って、構成される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像処理装置、 特に
車両に搭載され車両の周辺の道路状況等をビデオカメラ
にて監視するのに適した画像処理装置に関する。
【0002】
【従来の技術】上記のような画像処理装置は、前方を走
行する車両との間の車両距離が十分でなくなったことを
検知して運転者にアラーム音を発したり、あるいはレー
ンマークから外れて車両が走行し始めたときに同様に運
転者にアラーム音を発したりするために用いることがで
きる。
【0003】また車両が前進する場合のみならず、後退
する場合においても後方確認のためにその画像処理装置
を利用することができる。
【0004】
【発明が解決しようとする課題】画像処理装置は上述の
ように車両の周辺の他の車両、レーンマーク等の道路状
況を画像として捉えさらにその道路状況を認識する機能
を果す。すなわち画像認識である。この画像認識の性能
は、画像処理装置自身の性能によって定まるものである
が、実際の運用時においては、画像処理装置が置かれる
撮影状況によっても大きく左右される。その撮影状況
(日照条件、 天候等)によっては、上記の画像認識を行
うことが困難な場合に遭遇することがある。
【0005】例えば夜間の走行中、その前方を走行する
車両のブレーキランプが点灯した場合、ブレーキランプ
周辺の画像がぼやけてしまい、 当該車両に設けられる画
像処理装置の画像認識性能が低下してしまう、という第
1の問題がある。図20は従来技術の第1の問題点を示
す画像の一例を表す図である。本図に示すとおり、 夜間
の走行中に前方を走る車両1が有する例えば3個のブレ
ーキランプ2,3および4の周辺の画像に上記の「ぼや
け」が現れる。
【0006】また画像処理装置に内蔵される画像メモリ
のメモリ容量と処理時間とに制限が課せられている、と
いう第2の問題がある。したがって本発明は上記問題点
に鑑み、 上述した画像認識性能の低下の問題と、上述し
たメモリ容量および処理時間に課せられる制限の問題と
を同時に解消することのできる画像処理装置を提供する
ことを目的とするものである。
【0007】
【課題を解決するための手段】図1は本発明に係る画像
処理装置の基本構成を示す図である。本図において、参
照番号10は画像処理装置であり、該装置10は、 撮像
素子14を有する光学系11と、光学系11からの撮像
信号Sを入力として画像処理を行う演算処理部12とか
らなる。なお、撮像素子14の部分についてのみ、 拡大
した斜視図Aにて示す。この拡大斜視図は、 レンズ13
側から見た図である。
【0008】ここに撮像素子14は行方向の画素と列方
向の画素とを全体にマトリクス状に配列してなる。ただ
しこの構成は周知であるので、詳細に図示しない。撮像
素子14の撮像面14’は、行単位または列単位で複数
の領域に区分されると共に、これら複数の領域は、 第1
フィルタF1を該撮像面上に備える第1領域I、第2フ
ィルタF2を該撮像面14’上に備える第2領域IIおよ
び撮像面14’上にフィルタを設けない第3領域III の
うちの少なくともいずれか2つの領域によって構成され
る。
【0009】かくしてフィルタ処理が加えられた、 光学
系11からの撮像信号Sが演算処理部12に入力され、
例えば前方の車両の認識等の処理が行われる。図2は撮
像素子14の分光感度特性を示すグラフである。本図に
おいて、横軸には波長〔nm〕を、縦軸には輝度をそれぞ
れとって、上記の分光感度特性を示す。ただし撮像素子
(センサIC)14としてCMOSセンサを採用した例
を示す。
【0010】本図のグラフ中、 特に注目すべき部分は、
波長帯域Bである。この帯域Bが、図20に表した、 車
両1のブレーキランプ(2,3,4)周辺に生じる「ぼ
やけ」の原因となる帯域である。このようなぼやけは、
赤外領域(B)にあることから、人間の眼には見えない
が、一方、上記CMOSセンサにとってみると、このよ
うな波長帯域も検知範囲となる。したがってこの波長帯
域に基づくセンサ信号が撮像信号Sの中に上記のぼやけ
として現れることになる。
【0011】そこで上記の波長帯域Bをフィルタにより
カットして、該ぼやけを除去する、というのが本発明の
前提となる。ただし、このようなフィルタによる帯域B
のカットということ自体は公知のことである。本発明の
特徴は、そのフィルタの形成の仕方にあり、具体的には
図1内の拡大斜視図Aに示すように形成される。なお、
本図Aは本発明に基づくある一態様を示したものであっ
て、フィルタF1(I)、フィルタF2(II)およびフ
ィルタなし(III )の各領域の全てが撮像面14’上に
形成されているが、これに限らず、 フィルタF1
(I)、フィルタF2(II)およびフィルタなし(III
)のうちのいずれか2つの領域だけが存在するように
構成してもよい。
【0012】以下、上記図2の説明を続けるが、この説
明では第1フィルタF1と第2フィルタF2のみを用い
た例を用いる。図3は撮像面14’上に形成されるフィ
ルタ群15を示す平面図である。本図の例では、512
列および480行のそれぞれに512画素および480
画素をマトリクス状に配列してなる撮像素子14を用い
ており、その撮像面14’上に、行単位ですなわち奇数
行と偶数行とに区分して、第1フィルタ(F1)と第2
フィルタ(F2)とを交互配置する。このため各フィル
タの幅は数10μmと微小なものとなる。
【0013】このようなフィルタ群を用いて図1の撮像
信号Sを得、図1の演算処理部12にて所定の処理を行
う。図4は演算処理部12による処理の一例を示すフロ
ーチャートである。 ステップS11:図3における512画素×120(4
80/4)画素分の輝度値の平均を算出する。この場
合、行単位の画素情報は一例として1/4に間引いてい
る。この行単位の画素情報は、演算処理部12内のメモ
リ(後述する図5のメモリ24参照)に一旦格納され、
さらに、同図中のCPU25にて平均輝度値が算出され
る。
【0014】ステップS12:上記ステップS11で算
出された平均輝度値により、 当該車両の置かれた環境
(昼か夜)を上記CPUにより判断する。 ステップS13:上記の判断により、昼であることが判
明すると、インタレース方式により第1フィルタF1が
載せられた奇数行のみをスキャンする。このときの第1
フィルタF1は、図2の波長帯域Bまでも含めた全波長
帯域についての撮像信号Sを得る。この結果、昼間の画
像認識性能は従前どおり十分確保することができる。
【0015】ステップS14:一方上記の判断により、
夜であることが判明すると、今度は、上記インタレース
方式のもとで、第2フィルタF2が載せられた偶数行の
みをスキャンする。このときの第2フィルタF2として
は、 図2の波長帯域Bを除いた全波長帯域(青、緑およ
び赤)についての撮像信号Sを得る。この結果、夜間に
おける該帯域Bに起因するぼやけは排除され、夜間の画
像認識性能は従前に比して大幅に改善される。
【0016】上述のとおり、昼と夜とに最適なフィルタ
特性をそれぞれ選択でき、既述の第1の問題は解消され
る。この場合、第1および第2フィルタF1, F2のい
ずれか一方に属する撮像面のみしか使用されないので、
画像情報量は本来得られる画像情報量に比べてほぼ半減
してしまう。しかし実際に実施した結果によれば、画像
認識能力の低下は実用上全く問題にならない程度であっ
た。そのような能力の低下は、ぼやけの完全な解消とい
う効果によって十分相殺される。かくして夜間において
例えば前方の車両を認識する際、その車両の輪郭をきわ
めて鮮明に捉えることが可能となる。
【0017】また上述のとおり、使用する画像情報量が
ほぼ半減するので、上記メモリ24のメモリ容量は従来
のほぼ半分で済むことになり、これに伴い上記CPU2
5による画像処理(車両の周囲の明るさ判断の処理や、
車両の画像の輪郭を抽出する等の処理や、前方の車両と
の車間距離を計算する処理や、必要に応じて既述のアラ
ーム音を発出する処理等)に要する処理時間も短縮され
る。この結果、既述の第2の問題も解消される。
【0018】
【発明の実施の形態】図5は図1の装置構成の具体例を
示す図である。なお全図を通じて、同様の構成要素には
同一の参照番号または記号を付して示す。本図におい
て、画像処理装置10は、図1のとおり、光学系11と
演算処理部12とからなる。
【0019】光学系11はいわばビデオカメラであり、
レンズ13と撮像素子14とフィルタ群15等を含む。
このビデオカメラは例えば、車両内のルームミラーのと
ころに取り付けられ、および/または、車両のリアウィ
ンドウ中央付近に取り付けられる。このビデオカメラ
(11)からのアナログの撮像信号Sは、演算処理部1
2に入力され、まず、アンプ21にてこれを増幅し、さ
らに、ADC(Analog/Digital Con
verter)22によりディジタルの撮像信号Sに変
換する。さらに、メモリI/F制御回路23は、CPU
25による指令のもとで、メモリ24へのデータ(撮像
信号)の書込みおよびCPU25への読出しを制御す
る。該回路23はさらに他の制御も行う。
【0020】図6は本発明に基づく第1実施例を示す平
面図であり、図7は第1実施例の説明に用いるグラフで
ある。なお、図6の見方は図3と同じであり、図7の見
方は図2と同じである。この第1実施例においては、既
述の複数の領域は、第1領域Iと第3領域IIIとから構
成される。かつ、第1領域Iに備えられる第1フィルタ
F1は赤外カットフィルタであることを特徴とするもの
である。
【0021】これにより、図7におけるにじみ(既述の
ぼやけと等価)の原因となるセンサ信号の部分Cは、赤
外カットフィルタ(F1)により除去される。さらに詳
細には、前方の車両のストップランプがぼやける夜間に
対応するため、奇数行と偶数行のフィルタの特性を変え
ることにする。すなわち奇数行はフィルタなし、偶数行
は赤外カットフィルタ(F1)である。このときの処理
としては、演算処理部12で昼または夜の判断を行い、
その結果をもとに、インタレースのビデオカメラ信号の
処理範囲を次のようにする。
【0022】・昼ならば、フィルタなしの奇数フィール
ドを選択し、 ・夜ならば、赤外カットフィルタ(F1)有りの偶数フ
ィールドを選択する。 図8は本発明に基づく第2実施例を示す平面図であり、
図9は第2実施例の説明い用いるグラフである。なお、
図8の見方は図3と同じであり、図9の見方は図2と同
じである。
【0023】この第2実施例においては、既述の複数の
領域は、第1領域Iと第2領域IIと第3領域III から構
成される。かつ、第1領域Iに備えられる第1フィルタ
F1は赤外カットフィルタであり、第2領域IIに備えら
れる第2フィルタF2も赤外カットフィルタであって、
第1フィルタF1と第2フィルタF2の各分光感度特性
を相互に異ならせることを特徴とするものである。
【0024】これにより、図9における上記にじみの原
因となる部分C(図7のCと同じ)は、赤外カットフィ
ルタ(F1)または赤外カットフィルタ(F2)により
除去される。さらに詳細には、前方の車両のストップラ
ンプがぼやける夜間の場合、3行毎にフィルタの特性を
変えることにする。すなわちnは整数で、n=0,1,
…,159とすると、 3n+1行:フィルタなし 3n+2行:赤外カットフィルタ1(F1) 3n+3行:赤外カットフィルタ2(F2) とする。このときの処理としては、演算処理部12で昼
または夜の判断を行い、その結果をもとに、インタレー
スのビデオカメラ信号の処理範囲を次のようにする。
【0025】・昼ならば、フィルタなしの3n+1行を
選択し、 ・夜で、ぼやけの小さい時は、赤外カットフィルタ1の
3n+2行を選択し、 ・夜で、ぼやけの大きい時は、赤外カットフィルタ2の
3n+3行を選択する。 本発明に係る撮像素子14の撮像面14’は、行単位ま
たは列単位で複数の領域に区分される。上述した第1お
よび第2実施例では、行単位で複数の領域に区分した構
成を示したので、次に列単位で複数の領域に区分した構
成を、第3および第4実施例として示す。
【0026】図10は本発明に基づく第3実施例を示す
平面図である。第1実施例(図6)が行単位であるのに
対し、この第3実施例は、列単位にしたものである。詳
細には、前方の車両のストップランプがぼやける夜間に
対応するため、奇数列と偶数列のフィルタの特性を変え
ることにする。すなわち奇数列はフィルタなし、偶数列
は赤外カットフィルタ(F1)である。このときの処理
としては、演算処理部12で昼または夜の判断を行い、
その結果をもとに、ビデオカメラ信号の処理範囲を次の
ようにする。
【0027】・昼ならば、フィルタなしの奇数列を選択
し、 ・夜ならば、赤外カットフィルタ(F1)有りの偶数列
を選択する。 図11は本発明に基づく第4実施例を示す平面図であ
る。第2実施例(図8)が行単位であるのに対し、この
第4実施例は、列単位にしたものである。
【0028】詳細には、前方の車両のストップランプが
ぼやける夜間に対応するため、3n+1列と3n+2列
と3n+3列のフィルタの特性を変えることにする。す
なわちnは整数で、n=0,1,…,159とすると、 3n+1列:フィルタなし 3n+2列:赤外カットフィルタ1(F1) 3n+3列:赤外カットフィルタ2(F2) とする。このときの処理としては、演算処理部12で昼
または夜の判断を行い、その結果をもとに、ビデオカメ
ラ信号の処理範囲を次のようにする。
【0029】・昼ならば、フィルタなしの3n+1列を
選択し、 ・夜で、ぼやけの小さい時は、赤外カットフィルタ1の
3n+2列を選択し、 ・夜で、ぼやけの大きい時は、赤外カットフィルタ2の
3n+3列を選択する。 上述した第3および第4実施例は、ビデオカメラからの
左右の視野角を適宜設定したいようなときに有効であ
る。例えば、ビデオカメラが車両のリヤウィンドウ側に
設けられていて、車両の後方に展開する道路上の白いレ
ーンマークを確認したいような場合に有効である(後
述)。
【0030】このような第3および第4実施例による列
単位での撮像信号Sの抽出を行うためには、前述した第
1および第2実施例の場合のようなインタレース方式を
そのまま利用することができない。すなわち第1および
第2実施例の場合ならば、行単位で区分される既述の複
数の領域は、撮像素子14の奇数または偶数番目のいず
れか一方の行によって規定され、このインタレース方式
の撮像信号Sを、演算処理部12を構成するメモリ24
に格納すれば、CPU25およびメモリI/F制御回路
23はその後何ら複雑な制御をすることなく、所定の画
像処理を行うことができる。
【0031】しかしながら第3および第4実施例の場合
には、演算処理部12内にカウンタ機能(図5のカウン
タ31参照)を持たせ、撮像素子14からの行単位の撮
像信号Sのうち所定のカウント値に達する毎に選択され
た撮像信号を、列単位で区分される複数の領域に対応す
る撮像信号Sとして、演算処理部12を構成するメモリ
24から読み出すようにする必要がある。
【0032】このような読出し操作を行うのは、 例えば
図5のメモリI/F(interface)制御回路2
3である。例えば図11の場合についてみると、上記の
所定のカウント値は、赤外カットフィルタ(F1)につ
いては、“2→5→8→…→511”であり、赤外カッ
トフィルタ(F2)については、“3→6→9→…→5
12”である。またフィルタなし(III )については、
“1→4→7→…→510”である。
【0033】どのようなカウント値を選択するかは、最
も単純には、車両の置かれた環境が昼であるか夜である
か、に依存する。このような昼/夜の識別は図5の演算
処理部12、とりわけCPU25、が行う。すなわち、
演算処理部12は、演算処理部12を構成するメモリ2
4に格納されている撮像信号Sのデータに基づいて、こ
の撮像素子全体の平均受光輝度を表す輝度値を算出し、
この輝度値の大小に応じて、前述した第1、第2および
第3領域(I,IIおよびIII )を指定する。つまり、第
1フィルタF1を使うか、第2フィルタF2を使うか、
またはフィルタなし(III )とするか、を決定する。
【0034】上記第1および第2実施例は行単位のみで
のフィルタ処理をベースにし、上記第3および第4実施
例は列単位のみでのフィルタ処理をベースにしている。
これをさらに発展させれば行単位と列単位の複合による
フィルタ処理をベースにすることもできる。図12は本
発明に基づく第5実施例を示す図である。
【0035】この第5実施例では、行単位と列単位の複
合でフィルタ処理を行う。図12においては、既述の複
数の領域として、第1領域I(第1フィルタF1付
き)、第2領域II(第2フィルタF2付き)および第3
領域III (フィルタなし)が全て採用され、これらの領
域が格子状に配置されていることを示す。かくしてこの
第5実施例のもとでは撮像素子14を有する光学系11
と、光学系11からの撮像信号Sを入力として画像処理
を行う演算処理部12とからなる画像処理装置におい
て、撮像素子14は行方向の画素と列方向の画素とを全
体にマトリクス状に配列すると共に、撮像素子14の撮
像面14’は、行および列の交点の単位で複数の領域に
区分され、これら複数の領域は、第1フィルタF1を撮
像面14’上に備える第1領域I、 第2フィルタF2を
撮像面14’上に備える第2領域IIおよび撮像面14’
上にフィルタを設けない第3領域III のうちの少なくと
もいずれか2つの領域によって構成されるようにする。
【0036】図13は本発明に基づく第6実施例の説明
に用いるグラフである。前述した各実施例では第1フィ
ルタF1(第2フィルタF2)として赤外カットフィル
タを用いたが、この第6実施例(および後述の第7実施
例)では均一な濃度のフィルタ(全波長帯域(減衰を必
要とする波長帯域)に亘り略一律に透過光量を抑えるフ
ィルタ)であるND(NEUTRAL DENSIT
Y)フィルタを用いる。
【0037】すなわち、前述した複数の領域は、第1領
域Iと第3領域III とから構成されると共に、この第1
領域Iに備えられる第1フィルタF1はNDフィルタで
あることを特徴とするものである。前述した各実施例で
は、ぼやけの原因Cを赤外カットフィルタにより除去し
たが、第6実施例(第7実施例)では、NDフィルタを
用いて、全波長帯域に亘り一律に透過率を下げる(透過
光量を抑える)ことにより、その原因Cを排除するよう
にしたものである。既述のぼやけを防ぐ効果は、赤外カ
ットフィルタにほぼ等しい。
【0038】図13において、曲線DはNDフィルタに
より低下した透過率特性を表す。図14は本発明に基づ
く第7実施例の説明に用いるグラフである。この第7実
施例では、前述した複数の領域は、第1領域Iと第2領
域IIと第3領域III とから構成され、かつ、この第1領
域Iに備えられる第1フィルタF1はNDフィルタであ
り、その第2領域に備えられる第2フィルタF2もND
フィルタであって、第1フィルタF1と第2フィルタF
2の各透過率特性を相互に異ならせることを特徴とする
ものである。
【0039】図14を参照すると、曲線D1は第1ND
フィルタ(F1)の透過率特性を示し、曲線D2は第2
NDフィルタ(F2)の透過率特性を示す。そしてF1
の透過率の方がF2の透過率よりも大に設定される。そ
れぞれの役割は、既述した第1赤外カットフィルタ(F
1)および第2赤外カットフィルタの役割と同じであ
る。
【0040】以上の実施例ではビデオカメラを主として
車両のフロントウィンドウ側に設けた場合について説明
したが、以下、このビデオカメラを車両のリヤウィンド
ウ側に設ける場合について説明する。また使用するフィ
ルタとして赤外カットフィルタおよびNDフィルタにつ
いて述べたが、以下の説明ではRGBカラーフィルタも
取り入れた場合について述べる。
【0041】図15は本発明に基づく第8実施例を示す
図である。この第8実施例においては、前述した複数の
領域は列単位のみで区分されると共に、撮像面14’の
中間部分に配置される第1領域Iと撮像面14’におけ
る該中間部分の左右にある左部分と右部分とにそれぞれ
配置される第3領域III とから構成され、ここに、第1
領域Iに備えられる第1フィルタF1はRGBカラーフ
ィルタであることを特徴とするものである。
【0042】図16は第8実施例のもとでの撮影画像の
一例を示す図である。本図において、41はディスプレ
イであり、車両の後方側の映像を表示する。本図は夜間
の映像を表示しており、中央に後方車両が映っている
(図15の後方車両部)。夜間走行では車両後方に展開
する道路上のレーンマーク(白線)5だけを鮮明に映し
出したいことがある。このために、ディスプレイの中央
表示部分の左側および右側の部分に相当する撮像面1
4’の部分はフィルタなし(第3領域III )とする(図
15の白線部)。
【0043】車両後方に展開する映像としては、上記の
他、例えば駐車の際の車両後方の確認用として用いる場
合がある。このときは、カラー画像として、視野の中央
部分を鮮明に映し出す必要がある。このために図15の
RGBカラーフィルタ(F1)を撮像面14’の中央に
設ける。なお、このような車両後方の確認のときは、拡
大表示するのが都合がよい。これを図16のディスプレ
イ41’として示す。
【0044】さらに詳細には、車両の後方に取り付けた
ビデオカメラ(図18の52参照)から後方の白線を認
識する場合、 車両の存在する範囲と白線の存在する範囲
とで、フィルタの特性を変えることにする。すなわち 車両部1:RGBカラーフィルタ(I) 白線部5:フィルタなし(III ) とする。このときの処理としては、中央部の映像は画面
に表示するために、カラー表示が必要であり、一方、そ
の左右の白線部は画像処理を行うためにRGBカラーフ
ィルタをとり、フィルタなしとする。
【0045】図17は本発明に基づく第9実施例を示す
図である。第9実施例は上記第8実施例の変形であり、
白線部(5)の光量が強過ぎるような場合に採用するこ
とができる。すなわち第9実施例においては、前述の複
数の領域は列単位のみで区分されると共に、 撮像面1
4’の中間部分に配置される第1領域Iと撮像面14’
における該中間部分の左右にある左部分と右部分とにそ
れぞれ配置される第2領域IIとから構成され、ここに、
第1領域Iに備えられる第1フィルタF1はRGBカラ
ーフィルタであり、第2領域IIに備えられる第2フィル
タF2は赤外カットフィルタであることを特徴とするも
のである。
【0046】上記の赤外カットフィルタ(F2)につい
てみると、これをさらに2段階に区分することもでき
る。既述の図9において両矢印のF1およびF2として
示すとおりである。すなわち、第2フィルタF2をなす
赤外カットフィルタは第1赤外カットフィルタと第2赤
外カットフィルタからなり、かつ、該第1および第2赤
外カットフィルタの各分光感度特性を相互に異ならせる
ようにする。
【0047】またさらなる変形例としては、その赤外カ
ットフィルタに代えて既述のNDフィルタとすることも
できる。すなわち、かかる実施態様のもとでは、前述の
複数の領域は列単位のみで区分されると共に、撮像面1
4’の中間部分に配置される第1領域Iと撮像面14’
における該中間部分の左右にある左部分と右部分とにそ
れぞれ配置される第2領域IIとから構成され、かつ、こ
の第1領域Iに備えられる第1フィルタF1はRGBカ
ラーフィルタとし、該第2領域IIに備えられる第2フィ
ルタF2はNDフィルタとする。
【0048】そしてこのNDフィルタ(F2)について
も、これをさらに2段階に区分することもできる。既述
の図14において曲線D1およびD2として示すとおり
である。かかる実施態様のもとでは、第2フィルタF2
をなすNDフィルタは第1NDフィルタと第2NDフィ
ルタからなり、かつ、これら第1および第2NDフィル
タの各透過率特性を相互に異ならせるようにする。
【0049】次に説明する第10実施例は、車両の後方
にビデオカメラだけでなく、その後方の映像を浮かび上
がらせる照光手段をもさらに設けるものである。図18
は本発明に基づく第10実施例を説明するための斜視図
である。本図において、車両1はレーンマーク(白線)
5に沿って走行中であり、この車両1の後方には、既に
述べてきたビデオカメラが52として示されると共に、
上述した照光手段が51として示されている。ただし、
採用する撮像面14’上のフィルタ構成は、前述の第8
実施例(図15)あるいは第9実施例(図17)と全く
同じである。
【0050】照光手段51としては特定波長で発光する
発光素子を用いる。本図の例ではその発光素子として赤
外LEDを用いており(中心周波数950nm)、図18
では、レーンマーク5を照光する様子が示されている。
図19は本発明に基づく第10実施例を示す図であり、
分光感度特性を表すグラフGと共に示されている。
【0051】上記の例では、照光手段51として赤外L
ED(特定波長は950nm)を用いており、この特定波
長域(図19のグラフG内のH参照)を透過させる特定
波長フィルタを第2フィルタF2として用いる。すなわ
ちこの第10実施例においては、前述の複数の領域は列
単位のみで区分されると共に、 撮像面14’の中間部分
に配置される第1領域Iと該撮像面14’における該中
間部分の左右にある左部分と右部分とにそれぞれ配置さ
れる第2領域IIとから構成され、ここに、その第1領域
Iに備えられる第1フィルタF1はRGBカラーフィル
タであり、その第2領域に備えられる第2フィルタF2
は特定の波長域を透過させる特定波長フィルタであるこ
とを特徴とするものである。
【0052】さらに上記の特定波長フィルタ(F2)
は、第1特定波長フィルタと第2特定波長フィルタから
なり、かつ、これら第1および第2特定波長フィルタの
各透過率特性を相互に異ならせるようにすることもでき
る。
【0053】
【発明の効果】以上説明したように本発明によれば、撮
像素子14の撮像面14’上に選択的に所望のフィルタ
を配列したビデオカメラが提供される。これにより、所
望の映像をより一層鮮明に得ることができる。また、所
望のフィルタを選択的に使用することにより、メモリ2
4のメモリ容量を減らし、これに伴いCPU25の処理
時間を短縮することもできる。
【図面の簡単な説明】
【図1】本発明に係る画像処理装置の基本構成を示す図
である。
【図2】撮像素子14の分光感度特性を示すグラフであ
る。
【図3】撮像面14’上に形成されるフィルタ群15を
示す平面図である。
【図4】演算処理部12による処理の一例を示すフロー
チャートである。
【図5】図1の装置構成の具体例を示す図である。
【図6】本発明に基づく第1実施例を示す平面図であ
る。
【図7】第1実施例の説明に用いるグラフである。
【図8】本発明に基づく第2実施例を示す平面図であ
る。
【図9】第2実施例の説明に用いるグラフである。
【図10】本発明に基づく第3実施例を示す平面図であ
る。
【図11】本発明に基づく第4実施例を示す平面図であ
る。
【図12】本発明に基づく第5実施例を示す平面図であ
る。
【図13】本発明に基づく第6実施例の説明に用いるグ
ラフである。
【図14】本発明に基づく第7実施例の説明に用いるグ
ラフである。
【図15】本発明に基づく第8実施例を示す図である。
【図16】第8実施例のもとでの撮像画像の一例を示す
図である。
【図17】本発明に基づく第9実施例を示す図である。
【図18】本発明に基づく第10実施例を説明するため
の斜視図である。
【図19】本発明に基づく第10実施例を示す図であ
る。
【図20】従来技術の第1の問題点を示す画像の一例を
表す図である。
【符号の説明】 1…車両 2,3,4…ブレーキランプ 5…レーンマーク 10…画像処理装置 11…光学系(ビデオカメラ) 12…演算処理部 13…レンズ 14…撮像素子 14’…撮像面 15…フィルタ群 21…アンプ 22…ADC 23…メモリI/F制御回路 24…メモリ 25…CPU 31…カウンタ 41…ディスプレイ 51…照光手段 52…ビデオカメラ S…撮像信号 I…第1領域 II…第2領域 III …第3領域 F1…第1フィルタ F2…第2フィルタ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/238 H04N 5/238 Z 5/335 5/335 V 9/04 9/04 Z Fターム(参考) 5B047 AA19 AB04 BB04 BC07 CB25 5C022 AA04 AB32 AB52 AC01 AC42 AC55 5C024 AX01 AX06 BX04 CX01 CY50 DX01 DX07 EX51 EX52 GY31 HX17 HX23 HX32 HX58 HX60 JX36 5C054 AA01 AA05 CA04 CA05 CC02 CE12 EA01 EB05 FA00 FB01 FB03 FC12 FE09 FF06 HA30 5C065 AA01 BB09 BB41 CC01 CC09 DD15 DD17 EE06 EE16 EE17 GG17 GG18 GG30 GG35 GG44

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 撮像素子を有する光学系と、該光学系か
    らの撮像信号を入力として画像処理を行う演算処理部と
    からなる画像処理装置において、 前記撮像素子は行方向の画素と列方向の画素とを全体に
    マトリクス状に配列してなり、かつ、 該撮像素子の撮像面は、行単位または列単位で複数の領
    域に区分されると共に、該複数の領域は、第1フィルタ
    を該撮像面上に備える第1領域、第2フィルタを該撮像
    面上に備える第2領域、 および該撮像面上にフィルタを
    設けない第3領域のうちの少なくともいずれか2つの領
    域によって構成されることを特徴とする画像処理装置。
  2. 【請求項2】 前記複数の領域は、前記第1領域と前記
    第3領域とから構成され、かつ、該第1領域に備えられ
    る前記第1フィルタは赤外カットフィルタであることを
    特徴とする請求項1に記載の画像処理装置。
  3. 【請求項3】 前記複数の領域は、前記第1領域と前記
    第2領域と前記第3領域とから構成され、かつ、該第1
    領域に備えられる前記第1フィルタは赤外カットフィル
    タであり、該第2領域に備えられる前記第2フィルタも
    赤外カットフィルタであって、該第1フィルタと該第2
    フィルタの各分光感度特性を相互に異ならせることを特
    徴とする請求項1に記載の画像処理装置。
  4. 【請求項4】 前記複数の領域は、前記第1領域と前記
    第3領域とから構成され、かつ、該第1領域に備えられ
    る前記第1フィルタはNDフィルタであることを特徴と
    する請求項1に記載の画像処理装置。
  5. 【請求項5】 前記複数の領域は、前記第1領域と前記
    第2領域と前記第3領域とから構成され、かつ、該第1
    領域に備えられる前記第1フィルタはNDフィルタであ
    り、該第2領域に備えられる前記第2フィルタもNDフ
    ィルタであって、該第1フィルタと該第2フィルタの各
    透過率特性を相互に異ならせることを特徴とする請求項
    1に記載の画像処理装置。
  6. 【請求項6】 前記複数の領域は列単位のみで区分され
    ると共に、前記撮像面の中間部分に配置される前記第1
    領域と該撮像面における該中間部分の左右にある左部分
    と右部分とにそれぞれ配置される前記第3領域とから構
    成され、かつ、該第1領域に備えられる前記第1フィル
    タはRGBカラーフィルタであることを特徴とする請求
    項1に記載の画像処理装置。
  7. 【請求項7】 前記複数の領域は列単位のみで区分され
    ると共に、 前記撮像面の中間部分に配置される前記第1
    領域と該撮像面における該中間部分の左右にある左部分
    と右部分とにそれぞれ配置される前記第2領域とから構
    成され、かつ、該第1領域に備えられる前記第1フィル
    タはRGBカラーフィルタであり、該第2領域に備えら
    れる前記第2フィルタは赤外カットフィルタであること
    を特徴とする請求項1に記載の画像処理装置。
  8. 【請求項8】 前記第2フィルタをなす前記赤外カット
    フィルタは第1赤外カットフィルタと第2赤外カットフ
    ィルタからなり、かつ、該第1および第2赤外カットフ
    ィルタの各分光感度特性を相互に異ならせることを特徴
    とする請求項7に記載の画像処理装置。
  9. 【請求項9】 前記複数の領域は列単位のみで区分され
    ると共に、 前記撮像面の中間部分に配置される前記第1
    領域と該撮像面における該中間部分の左右にある左部分
    と右部分とにそれぞれ配置される前記第2領域とから構
    成され、かつ、該第1領域に備えられる前記第1フィル
    タはRGBカラーフィルタであり、該第2領域に備えら
    れる前記第2フィルタはNDフィルタであることを特徴
    とする請求項1に記載の画像処理装置。
  10. 【請求項10】 前記第2フィルタをなす前記NDフィ
    ルタは第1NDフィルタと第2NDフィルタからなり、
    かつ、該第1および第2NDフィルタの各透過率特性を
    相互に異ならせることを特徴とする請求項9に記載の画
    像処理装置。
  11. 【請求項11】 前記複数の領域は列単位のみで区分さ
    れると共に、 前記撮像面の中間部分に配置される前記第
    1領域と該撮像面における該中間部分の左右にある左部
    分と右部分とにそれぞれ配置される前記第2領域とから
    構成され、かつ、該第1領域に備えられる前記第1フィ
    ルタはRGBカラーフィルタであり、該第2領域に備え
    られる前記第2フィルタは特定の波長域を透過させる特
    定波長フィルタであることを特徴とする請求項1に記載
    の画像処理装置。
  12. 【請求項12】 前記特定波長フィルタは、第1特定波
    長フィルタと第2特定波長フィルタからなり、かつ、該
    第1および第2特定波長フィルタの各透過率特性を相互
    に異ならせることを特徴とする請求項11に記載の画像
    処理装置。
  13. 【請求項13】 撮像素子を有する光学系と、該光学系
    からの撮像信号を入力として画像処理を行う演算処理部
    とからなる画像処理装置において、 前記撮像素子は行方向の画素と列方向の画素とを全体に
    マトリクス状に配列してなり、かつ、 該撮像素子の撮像面は、行および列の交点の単位で複数
    の領域に区分されると共に、 該複数の領域は、第1フィ
    ルタを該撮像面上に備える第1領域、 第2フィルタを該
    撮像面上に備える第2領域および該撮像面上にフィルタ
    を設けない第3領域のうちの少なくともいずれか2つの
    領域によって構成されることを特徴とする画像処理装
    置。
  14. 【請求項14】 前記行単位で区分される前記複数の領
    域は、前記撮像素子の奇数または偶数番目のいずれか一
    方の行によって規定され、このインタレース方式の前記
    撮像信号を、前記演算処理部を構成するメモリに格納す
    る請求項1に記載の画像処理装置。
  15. 【請求項15】 前記演算処理部内にカウンタ機能を持
    たせ、前記撮像素子からの行単位の前記撮像信号のうち
    所定のカウント値に達する毎に選択された撮像信号を、
    前記列単位で区分される前記複数の領域に対応する撮像
    信号として、前記演算処理部を構成するメモリから読み
    出す請求項1に記載の画像処理装置。
  16. 【請求項16】 前記演算処理部は、該演算処理部を構
    成するメモリに格納されている撮像信号のデータに基づ
    いて、前記撮像素子全体の平均受光輝度を表す輝度値を
    算出し、 該輝度値の大小に応じて前記第1、第2および
    第3領域を指定する請求項1に記載の画像処理装置。
JP2000273297A 2000-09-08 2000-09-08 画像処理装置および画像処理システム Expired - Fee Related JP4641601B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000273297A JP4641601B2 (ja) 2000-09-08 2000-09-08 画像処理装置および画像処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000273297A JP4641601B2 (ja) 2000-09-08 2000-09-08 画像処理装置および画像処理システム

Publications (3)

Publication Number Publication Date
JP2002084534A true JP2002084534A (ja) 2002-03-22
JP2002084534A5 JP2002084534A5 (ja) 2007-10-04
JP4641601B2 JP4641601B2 (ja) 2011-03-02

Family

ID=18759266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000273297A Expired - Fee Related JP4641601B2 (ja) 2000-09-08 2000-09-08 画像処理装置および画像処理システム

Country Status (1)

Country Link
JP (1) JP4641601B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292784A (ja) * 2004-03-09 2005-10-20 Nikon Corp 測色機能を備えた測光装置およびその測光装置を備えたカメラ
JP2007515879A (ja) * 2003-12-17 2007-06-14 ノキア コーポレイション 赤外線画像と通常画像を生成する方法及び画像生成装置
JP2013225289A (ja) * 2012-03-21 2013-10-31 Ricoh Co Ltd 複眼カメラ装置、及びそれを備えた車両

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0433481A (ja) * 1990-05-29 1992-02-04 Sanyo Electric Co Ltd 撮像装置
JPH05296766A (ja) * 1992-04-16 1993-11-09 Canon Inc 障害物検出装置
JPH07322142A (ja) * 1994-05-26 1995-12-08 Hitachi Denshi Ltd 固体撮像素子およびこれを用いたテレビジョンカメラ
JPH10162287A (ja) * 1996-12-02 1998-06-19 Nec Corp 複合センサ型車両感知器
JPH11103407A (ja) * 1997-09-29 1999-04-13 Nec Corp Ccdデータ画素補間回路およびこのccdデータ画素 補間回路を備えたデジタルスチルカメラ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0433481A (ja) * 1990-05-29 1992-02-04 Sanyo Electric Co Ltd 撮像装置
JPH05296766A (ja) * 1992-04-16 1993-11-09 Canon Inc 障害物検出装置
JPH07322142A (ja) * 1994-05-26 1995-12-08 Hitachi Denshi Ltd 固体撮像素子およびこれを用いたテレビジョンカメラ
JPH10162287A (ja) * 1996-12-02 1998-06-19 Nec Corp 複合センサ型車両感知器
JPH11103407A (ja) * 1997-09-29 1999-04-13 Nec Corp Ccdデータ画素補間回路およびこのccdデータ画素 補間回路を備えたデジタルスチルカメラ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007515879A (ja) * 2003-12-17 2007-06-14 ノキア コーポレイション 赤外線画像と通常画像を生成する方法及び画像生成装置
US7746396B2 (en) 2003-12-17 2010-06-29 Nokia Corporation Imaging device and method of creating image file
JP2005292784A (ja) * 2004-03-09 2005-10-20 Nikon Corp 測色機能を備えた測光装置およびその測光装置を備えたカメラ
JP2013225289A (ja) * 2012-03-21 2013-10-31 Ricoh Co Ltd 複眼カメラ装置、及びそれを備えた車両

Also Published As

Publication number Publication date
JP4641601B2 (ja) 2011-03-02

Similar Documents

Publication Publication Date Title
CN104512411B (zh) 车辆控制系统及图像传感器
JP4356733B2 (ja) 車載用画像処理装置とその制御方法
JP3909691B2 (ja) 車載用画像処理装置
JP4979933B2 (ja) 車載カメラ及びドライブレコーダ
JP4399174B2 (ja) 自動車のディスプレイユニット、自動車の夜間視認装置および自動車の赤外線夜間視認装置を備えた車両
KR20070005553A (ko) 촬상시스템
JP4659906B2 (ja) 暗視装置
JP2005051791A (ja) 多種光学センサを備えたセンサアレイ
JP3970903B2 (ja) 撮像システム
JPH0951484A (ja) 電子カメラの光量制御装置
JP2008306546A (ja) 車両周辺監視装置
JP3793487B2 (ja) 撮像システム
JP4798945B2 (ja) 撮像装置
KR20050065421A (ko) 촬상시스템
JP4782491B2 (ja) 撮像装置
JP4641601B2 (ja) 画像処理装置および画像処理システム
JP2007124676A (ja) 車載用画像処理装置
JP2006030713A (ja) 表示装置
CN113126252A (zh) 微光成像系统
JP2001111989A (ja) 車載用撮像装置
JP3764317B2 (ja) 車載用周辺視認装置
CN111216635B (zh) 车载装置
JPH06233309A (ja) 表示画像のコントラスト改善方法
JP2006024120A (ja) 車両用画像処理システム及び画像処理装置
JPH0278000A (ja) 車両運転支援装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070822

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101130

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees