JP2020057869A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2020057869A
JP2020057869A JP2018185881A JP2018185881A JP2020057869A JP 2020057869 A JP2020057869 A JP 2020057869A JP 2018185881 A JP2018185881 A JP 2018185881A JP 2018185881 A JP2018185881 A JP 2018185881A JP 2020057869 A JP2020057869 A JP 2020057869A
Authority
JP
Japan
Prior art keywords
image
vehicle
light
face
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018185881A
Other languages
English (en)
Inventor
山田 英明
Hideaki Yamada
英明 山田
雄貴 吉國
Yuki Yoshikuni
雄貴 吉國
敏正 舟木
Toshimasa Funaki
敏正 舟木
中嶋 靖
Yasushi Nakajima
靖 中嶋
真裕 山下
Masahiro Yamashita
真裕 山下
清松 智
Satoshi Kiyomatsu
智 清松
和田 穣二
Joji Wada
穣二 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iPro Co Ltd
Original Assignee
Panasonic iPro Sensing Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic iPro Sensing Solutions Co Ltd filed Critical Panasonic iPro Sensing Solutions Co Ltd
Priority to JP2018185881A priority Critical patent/JP2020057869A/ja
Priority to US16/523,695 priority patent/US11163977B2/en
Publication of JP2020057869A publication Critical patent/JP2020057869A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/208Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Abstract

【課題】車両に乗車している人物の顔ならびにその車両のナンバープレートを含む被写体の撮像画像から人物の顔およびナンバープレートのそれぞれの高画質な画像を生成し、車両内の人物と車両のナンバープレートとの対応関係を示すデータの構築を支援する。【解決手段】カメラ装置5のプロセッサ10は、撮像素子12での長い露光時間で得られた画像と、前記撮像素子での短い露光時間で得られた画像とを時分割に取得する。プロセッサ10は、長い露光時間で得られた画像ら抽出した顔画像と、短い露光時間で得られた画像から抽出したナンバープレート画像とを合成して、同一の車両に対応する顔画像とナンバープレート画像との合成画像を生成する。【選択図】図36

Description

本開示は、車両に乗車している人物と車両のナンバープレートとを撮像する撮像装置に関する。
従来、高速道路等の有料道路の料金所の料金収受車線を走行する車両内の運転者の顔画像およびその車両のナンバープレートを同時に撮像するカメラが知られている(例えば特許文献1参照)。特許文献1では、車両のフロントガラスおよびナンバープレートを含む視野内に対して照明光を照射する照明装置の光照射側に1方向の光だけを通過させる偏光フィルタが設けられるとともに、同一の視野内の画像を撮像するカメラの撮像面側に照明側の偏光フィルタと角度の異なる方向の光だけを通過させる偏光フィルタが設けられる。
特開2011−2718号公報
特許文献1のカメラによれば、料金所の料金収受車線を走行する車両のフロントガラスおよびナンバープレートを含む視野内の画像を撮像することはできる。しかし、特許文献1では、車両のフロントガラスおよびナンバープレートをどのような露光条件で撮像するかについては考慮されていない。このため、露光条件によっては、車両のフロントガラスおよびナンバープレートの撮像画像の一部(例えばフロントガラスあるいはナンバープレート)の画質が劣化する可能性があるという課題があった。
本開示は、上述した従来の状況に鑑みて案出され、車両に乗車している人物の顔ならびにその車両のナンバープレートを含む被写体の撮像画像から人物の顔およびナンバープレートのそれぞれの高画質な画像を生成し、車両内の人物と車両のナンバープレートとの対応関係を示すデータの構築を支援する撮像装置を提供することを目的とする。
本開示は、車両に乗車している人物の顔と前記車両のナンバープレートとを含む被写体からの光を結像するレンズを含むレンズブロックと、前記レンズにより結像された前記被写体からの光に基づいて撮像処理を実行する撮像素子と、前記撮像処理により生成された前記被写体の撮像画像に基づいて、同一の車両に対応する前記車両に乗車している人物の顔画像とその車両のナンバープレート画像とを生成するプロセッサと、を備え、前記プロセッサは、前記被写体からの光に基づく撮像時に複数の撮像条件を用いて前記撮像素子に前記撮像処理を実行させる、撮像装置を提供する。
本開示によれば、車両に乗車している人物の顔ならびにその車両のナンバープレートを含む被写体の撮像画像から人物の顔およびナンバープレートのそれぞれの高画質な画像を生成でき、車両内の人物と車両のナンバープレートとの対応関係を示すデータの構築を支援できる。
実施の形態1に係るカメラ装置の外観を示す斜視図 カメラ本体部の内部構造を示す斜視図 前面フィルタ切替モジュールの正面側(前面側)の構造を示す斜視図 前面フィルタ切替モジュールの背面側(後面側)の構造を示す斜視図 前面フィルタ切替モジュールの構造を示す正面図 前面フィルタ切替モジュールの構造を示す背面図 前面フィルタ切替モジュールの構造を示す側面図 日中モード時、光軸上の位置に偏光フィルタが移動した場合の前面フィルタ切替モジュールの構造を示す斜視図 夜間モード時、光軸上の位置にバンドパスフィルタが移動した場合の前面フィルタ切替モジュールの構造を示す斜視図 実施の形態1に係るカメラ装置5のハードウェア構成例を含む撮像システムの構成の一例を示すブロック図 前面フィルタ切替モジュールの光学的配置の一例を示す図 カメラ装置の撮像動作手順を示すフローチャート 映像配信手順を示すフローチャート 日中・夜間切替動作手順を示すフローチャート 日中モードおよび夜間モードの設定が登録されたテーブルの登録内容の一例を示す図 前面フィルタ切替モジュールの他の光学的配置を示す図 車種ごとの窓ガラス角度および検知角度がそれぞれ登録されたテーブルの登録内容の一例を示す図 車両の窓ガラスの窓ガラス角度を示す図 カメラ装置が車線をそれぞれ走行する車両をそれぞれ撮像する場合、各車両の進行方向に対応する検知角度を示す図 カメラ装置が車両を検知した場合の偏光フィルタの偏光角の算出手順を示すフローチャート 偏光フィルタの偏光角の設定を説明する斜視図 車両を上方から見た場合、窓ガラスの形状を示す平面図 2枚の偏光フィルタを重ね合わせた偏光フィルタの構成を示す分解斜視図 偏光フィルタの外観およびその断面を示す図 最適な偏光角度の算出を説明する図 変形例の偏光フィルタを示す正面図 カメラ装置が停車中の車両の窓ガラス部分を撮像する状況を示す平面図 カメラ装置が走行中の車両の窓ガラス部分を連続して撮像する状況を示す側面図 枝葉等の影を除去する処理手順を示すフローチャート 連続して撮像された走行中の車両のNフレーム分の窓ガラス画像に対し、各窓ガラス画像を同一のサイズに拡大する処理を説明する図 拡大処理が施された全6フレームの窓ガラス画像を合成する処理を説明する図 6フレーム分の窓ガラス画像を合成した合成画像の一例を示す図 カメラ装置からの距離に応じてIR光の照度が変化する原理を説明する図 照明用LEDの構成および照度分布を示す図 実施の形態2に係る長時間露光撮影による撮像画像と短時間露光撮影による撮像画像とを合成して合成画像を生成する処理を示す図 映像配信手順を示すフローチャート 実施の形態2の変形例1に係る照明用LEDで車両を照明する状況を示す図 実施の形態2の変形例2に係るカメラ装置が遠近で撮像する状況を示す図 実施の形態2の変形例3に係る撮像素子の撮像面を示す図 実施の形態2の変形例4に係る撮像素子の撮像面を示す図 実施の形態2の変形例5に係るバンドパスフィルタによるヘッドライトの遮光を説明するグラフ 夜間にヘッドライトを点灯している車両にIR光を照明して撮像する状況を示す図
(実施の形態1の構成に至る経緯)
従来、車両に乗車している人物(例えば運転者)を特定するため、撮像素子を搭載したカメラ装置により、カメラ装置の被写体として、車両内の運転者の顔を撮像することが行われていた。撮像素子は、RGB(Red Green Blue)光の波長域に高い感度を有する他、近赤外光(つまり、IR(Infrared Ray)光)の波長域にも感度を有する。このため、昼間では、撮像素子によって撮像されるRGB画像が不鮮明にならないように、IRカットフィルタでIR光を遮断することが必要であると考察された。一方、夜間では、車両の窓ガラス越しに映る運転者の顔が暗くなるので、運転者の顔を照明するためにIR光を照射する場合、IRカットフィルタをカメラ装置内に配置される光学系の光軸上から外すことが必要であると考察された。
そこで、実施の形態1では、昼間においてはIRカットフィルタを光学系の光軸上に配置し、夜間においてはIRカットフィルタを光学系の光軸から外した状態となるように、光軸に対してIRカットフィルタを簡単に挿抜できるカメラ装置の例を説明する。
また、窓ガラスを透して車両内の運転者の顔を撮像する場合、窓ガラスにより反射された周辺光を低減するため、偏光フィルタをカメラ装置の光軸上に配置することが行われる。偏光フィルタは、偏光軸と平行な直線偏光を有する光を透過させ、偏光軸と直交する直線偏光を有する光を遮蔽する特性を有する。窓ガラスにより反射されることで直線偏光となった周辺光に対し、偏光方向が直交するように偏光フィルタの偏光軸を合わせることで、偏光フィルタで周辺光を遮断し、窓ガラスを透過した運転者の顔だけを撮像することが可能となる。
しかし、例えば路肩等の道路の脇に設置されたカメラ装置が走行する車両を斜めから撮像する場合、カメラ装置から車両までの距離が同じであっても、車両が走行する車線によって偏光フィルタの偏光角が違ってくる。このため、1台のカメラ装置で異なる車線を走行する車両を撮像する場合、運転者の顔をどちらも鮮明に撮像することが難しかった。また、同じ車線であっても、車種によって適切な偏光角が違っていた。このため、車種によっても車線の場合と同様、運転者の顔を鮮明に撮像できないことがあった。
そこで、実施の形態1では、被写体としての車両の車種やその車両が走行する車線に拘わらず、運転者の顔を鮮明に撮像できるカメラ装置の例を説明する。
以下、適宜図面を参照しながら、本開示に係るカメラ装置の構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(実施の形態1)
実施の形態1に係るカメラ装置5は、例えば車両VC(図18参照)を被写体とし、車両内に乗車している人物(例えば運転者)の顔を鮮明に撮像し、その人物の顔の撮像画像(撮像映像)を生成して取得する。
図1は、実施の形態1に係るカメラ装置5の外観を示す斜視図である。本開示に係る撮像装置の一態様としてのカメラ装置5は、カメラ本体部30と、LED(Light Emitting Diode)本体部20とが上下方向の2段に重なって配置されて構成される。なお、本明細書において、カメラ装置5の説明に関する前後、上下、左右のそれぞれの方向は、図1に示す矢印に従う。
上段側のLED本体部20(照明部の一態様)は、略直方体あるいは略立方体の箱形状の筐体20zを有する。筐体20zの前面には、例えば4*16個(=64個)の照明用LED21が照射可能に等間隔で配置される。*(アスタリスク)は乗算の演算子を示す。カメラ装置5が有する光源の一態様としての照明用LED21は、照明光として、広帯域かつ短波長(例えば850nmの波長)のIR(Infrared Ray)光を照射する。なお、LED本体部20の代わりに、照明光を照射可能な照明本体部の一態様として、レーザ光を照射可能な1つまたは複数のレーザダイオードが配置されたレーザ光本体部(図示略)が配置されてもよい。この場合には、レーザ光本体部内に配置された1つまたは複数のレーザダイオードから、狭帯域かつ短波長(例えば850nm)のレーザ光が照射される。
下段側のカメラ本体部30は、LED本体部20より小さな容積を有する箱形状の筐体30zを有する。筐体30zの前面の略中央部には、カメラ装置5の被写体(例えば車両)からの光が入射可能な窓部30yが形成される。筐体30zの背面側(つまり後面側)には、カメラ装置5により撮像された撮像映像を伝送するための映像出力用ケーブル151が接続されるコネクタ(図示略)が配置される。映像出力用ケーブル151は、後述するネットワークNWとの間で通信可能に接続されるルータ等の通信機器(図示略)との間で接続される。
図2は、カメラ本体部30の内部構造を示す斜視図である。カメラ本体部30の筐体30zの内部には、各種の光学部品(光学系の一態様)および電子部品が配置される。筐体30zの内側の前面側には、前面フィルタ切替モジュール40が配置される。前面フィルタ切替モジュール40の後方には、後面側に向かってレンズブロック50、レンズ内フィルタ切替モジュール60、撮像素子12等が配置される。
レンズブロック50は、撮像素子12の撮像面に被写体の光学像を結像させるフォーカスレンズ(レンズの一態様)を含む。なお、レンズブロック50は、フォーカスレンズの他、望遠から広角まで変倍可能なズームレンズ等を含んでもよい。
レンズ内フィルタ切替モジュール60は、レンズブロック50より後方(後面側)かつ撮像素子12の前方(前面側)に配置される。レンズ内フィルタ切替モジュール60は、前述したIRカットフィルタ(図示略)と素ガラス(図示略)とを切り替え可能に配置し、IRカットフィルタと素ガラスとを交互に切り替えて光学系の光軸(以下「光軸」と略記)上に配置する。
レンズ内フィルタ切替モジュール60は、例えば昼間等に設定される日中モード時、光軸上にIRカットフィルタを配置する。これにより、日中モード時には、撮像素子12には、IR帯域の成分が遮断されたRGB光が受光されるので、画質の良好な可視光画像が得られる。
一方、レンズ内フィルタ切替モジュール60は、例えば夜間等に設定される夜間モード時、光軸上に素ガラスを配置する。これにより、夜間モード時には、撮像素子12には、IRカットフィルタによってIR帯域の成分が遮断されないで素ガラスを通過した入射光が受光されるので、その受光された入射光に基づいて、一定の明るさを有する(言い換えると、暗くなり過ぎない)IR画像が得られる。
撮像素子12は、例えば2K、4K、8K等の高精細な映像を撮像可能なイメージセンサであり、例えばCCD(Charge Coupled Device)あるいはCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子で構成される。この固体撮像素子は、撮像面に結像した光学像の光電変換に基づいて、撮像画像に対応する電気信号を生成する。また、撮像素子12は、固体撮像素子から出力される電気信号を増幅するためのアンプと、このアンプのゲイン(感度)を調整可能なゲイン調整部とを含んでよい。なお、撮像素子12の出力は、プロセッサ10(図10参照)に入力されて所定の信号処理が実行された上で、撮像画像(撮像映像)のデータが生成される。
前面フィルタ切替モジュール40(フィルタユニットの一態様)は、バンドパスフィルタ41と偏光フィルタ42とを交互に切り替えて(例えば、左右方向にスライド移動させて)、バンドパスフィルタ41あるいは偏光フィルタ42を光軸上に配置する。前面フィルタ切替モジュール40がレンズブロック50より光軸上の被写体側(前面側)に配置されることで、前面フィルタ切替モジュール40の機械的調整(例えばメンテナンス)が容易となる。
図3は、前面フィルタ切替モジュール40の正面側(前面側)の構造を示す斜視図である。図4は、前面フィルタ切替モジュール40の背面側(後面側)の構造を示す斜視図である。図5は、前面フィルタ切替モジュール40の構造を示す正面図である。図6は、前面フィルタ切替モジュール40の構造を示す背面図である。図7は、前面フィルタ切替モジュール40の構造を示す側面図である。
前面フィルタ切替モジュール40は、可動部材である矩形枠401と、前面フィルタ切替モジュールスライドガイドレール402と、前面フィルタ切替モジュール用モータ43と、偏光フィルタ回転用モータ44とを含む。前面フィルタ切替モジュールスライドガイドレール402は、矩形枠401を左右方向にスライド移動自在に支持する。前面フィルタ切替モジュール用モータ43は、矩形枠401を左右方向にスライド移動させるための駆動力を供給する。偏光フィルタ回転用モータ44は、偏光フィルタ42を上下方向および左右方向の2次元平面に沿って回転させるための駆動力を供給する。
矩形枠401の後面側の底面には、正面側(前面側)から見て左側にバンドパスフィルタ41が配置され、その右側に偏光フィルタ42が配置される。偏光フィルタ42は、矩形枠401に形成された、略円形あるいは円形の孔部に回転自在に取り付けられたリング部材4015に篏合される。リング部材4015は、ギアを介して、偏光フィルタ回転用モータ44からの駆動力によって回転駆動される。
矩形枠401に形成された円形の孔部の裏側の外周には、偏光フィルタ回転用原点センサ4016が配置される(図4参照)。偏光フィルタ回転用原点センサ4016は、例えば、リング部材4015の外周に光を照射し、その反射光によってリング部材4015に形成された原点マーカ(図示略)の有無を検知可能な反射型のフォトセンサで構成される。リング部材4015が偏光フィルタ回転用モータ44によって回転駆動されると、偏光フィルタ回転用原点センサ4016によってリング部材4015の回転の原点が検知される。原点が検知されてからの回転量が偏光フィルタ42の回転角(後述する偏光角θpl)に相当する。
矩形枠401の四隅には、歯車4011,4012,4013,4014が軸支される。下側の2つの歯車4011,4012は、前面フィルタ切替モジュールスライドガイドレール402の上面に敷設されたラック402zと歯合し、矩形枠401を左右方向にスライド移動可能にする。
矩形枠401の背面上部には、ラック401zが設けられる。前面フィルタ切替モジュール用モータ43は、ラック401zと歯合する歯車43zが軸支された主軸を有し、筐体30zに取り付けられる。前面フィルタ切替モジュール用モータ43が回転すると、主軸に軸支された歯車43z(図7参照)が回転し、ラック401zの移動とともに矩形枠401を左右方向にスライド移動させる。これにより、矩形枠401に嵌合されたバンドパスフィルタ41および偏光フィルタ42は、それぞれ光軸上の位置と退避した位置とにスライド移動自在である。
前面フィルタ切替モジュールスライドガイドレール402の端部近傍には、前面フィルタ切替モジュール用原点センサ48が取り付けられる。前面フィルタ切替モジュール用原点センサ48は、スリット48z(図4参照)を有するフォトインタラプタで構成される。矩形枠401に形成された突起(図示略)がスリット48zの内側を通過する時、フォトインタラプタの光路が遮断される。プロセッサ10は、フォトインタラプタの光路の遮断を検知した位置を、矩形枠401の原点として検出する。
図8は、日中モード時、光軸上の位置に偏光フィルタ42が移動した場合の前面フィルタ切替モジュール40の構造を示す斜視図である。日中モード時、撮像素子12は、偏光フィルタ42、レンズブロック50内のフォーカスレンズ、およびレンズ内フィルタ切替モジュール60内のIRカットフィルタをそれぞれ透過した入射光を撮像する。偏光フィルタ42は、偏光フィルタ回転用モータ44によって偏光軸が回転することで、窓ガラス(例えば車両のフロントガラス)等で反射した反射光を遮断する。また、IRカットフィルタはIR光を遮断するので、撮像素子12は、鮮明なRGB画像を撮像できる。
図9は、夜間モード時、光軸上の位置にバンドパスフィルタ41が移動した場合の前面フィルタ切替モジュール40の構造を示す斜視図である。夜間モード時、撮像素子12は、バンドパスフィルタ41、レンズブロック50内のフォーカスレンズ、およびレンズ内フィルタ切替モジュール60内の素ガラスをそれぞれ透過した入射光を撮像する。バンドパスフィルタ41は、夜間、LED本体部20が照射するIR光を通過させ、一方で、車両の車体先端部のヘッドランプから照射されるヘッドライトの波長帯域に含まれる光を遮断する。なお、素ガラスはIR光を透過させることができるので、撮像素子12は、夜間でも窓ガラス(例えば車両のフロントガラス)越しに映る、IR光で照らされた車両内の運転者の顔を適応的に明るく撮像できる。
図10は、実施の形態1に係るカメラ装置5のハードウェア構成例を含む撮像システム3の構成の一例を示すブロック図である。撮像システム3は、カメラ装置5と、サーバ80と、レコーダ90とを含む構成である。カメラ装置5とサーバ80とレコーダ90とは、ネットワークNWを介してそれぞれ通信可能に接続される。なお、図10では、カメラ装置5は、1台のみ図示されているが、複数台がネットワークNWに接続されてよい。
カメラ装置5は、プロセッサ10と、メモリ11と、撮像素子12と、照度センサ13と、照明ドライバ14と、レンズドライバ15と、前面フィルタ切替ドライバ16と、レンズ内フィルタ切替ドライバ17と、偏光フィルタ旋回ドライバ18と、通信部19と、距離センサ26とを含む構成である。
プロセッサ10は、例えば、CPU(Central Processing Unit)、DSP(Digital Signal Processor)もしくはFPGA(Field Programmable Gate Array)を用いて構成される。プロセッサ10は、カメラ装置5の全体的な動作を司るコントローラとして機能し、カメラ装置5の各部の動作を統括するための制御処理、カメラ装置5の各部との間のデータの入出力処理、データの演算(計算)処理およびデータの記憶処理を行う。プロセッサ10は、メモリ11に記憶されたプログラムおよびデータに従って動作する。プロセッサ10は、動作時にメモリ11を使用し、プロセッサ10が生成または取得したデータもしくは情報をメモリ11に一時的に保存する。
メモリ11は、例えばRAM(Random Access Memory)とROM(Read Only Memory)とを用いて構成され、カメラ装置5の動作の実行に必要なプログラムおよびデータ、更には、動作中に生成されたデータもしくは情報を一時的に保持する。RAMは、例えば、カメラ装置5の動作時に使用されるワークメモリである。ROMは、例えば、カメラ装置5を制御するためのプログラムおよびデータを予め記憶して保持する。
照度センサ13(センサの一態様)は、カメラ装置5の周囲の環境の照度を検出する。照度センサ13には、例えばフォトダイオードあるいはフォトトランジスタが用いられる。照度センサ13は、カメラ装置5の被写体としての車両が存在する方向の環境の照度を検出可能となるように、カメラ本体部30の筐体30zの前面に取り付けられる。照度センサ13で検出される照度情報(具体的には、照度値のデータ)は、プロセッサ10に入力され、プロセッサ10により、現時点が夜間あるいは日中のいずれであるかの判定に用いられる。
プロセッサ10は、照度情報が既定の閾値より高い(言い換えると、周囲が明るい)と朝方あるいは昼間と判定し、カメラ装置5に日中の処理を実行させるための日中モードをセットする。また、プロセッサ10は、照度情報が既定の閾値より低い(言い換えると、周囲が暗い)と夜間あるいは夕方と判定し、カメラ装置5に夜間の処理を実行させるための夜間モードをセットする。セットされた日中モードあるいは夜間モードを示す情報(例えばフラグ)は、例えばメモリ11に一時的に保持される。
通信部19は、有線LAN(Local Area Network)あるいは無線LAN等のネットワークNWを介して、外部装置の一態様としてのサーバ80あるいはレコーダ90との間で通信可能である。
レコーダ90(外部装置の一態様)は、カメラ装置5から送信される撮像映像のデータを受信して蓄積する。
サーバ80(外部装置の一態様)は、カメラ装置5から送信される撮像映像のデータを受信し、各種の映像解析あるいは映像合成等の処理を行う。サーバ80による処理後の撮像映像のデータは、サーバ80からレコーダ90に送信されてレコーダ90において蓄積されてよい。
距離センサ26は、カメラ装置5から物体(例えば被写体としての車両)までの距離を測定するセンサである。距離センサ26は、例えば赤外線、レーザ光あるいは超音波を照射し、TOF(Time Of Flightt)法を用いて、その反射光を検知するまでの時間差によって距離を算出する。なお、距離センサ26を用いる代わりに、撮像素子12を用いて物体(例えば被写体としての車両)までの距離を測定してもよい。例えば、プロセッサ10は、撮像素子12で撮像された撮像画像に含まれる車両画像のサイズ割合を基に、予め登録された距離とサイズ割合との対応関係を表し、メモリ11等において保持されるテーブル(図示略)を参照して車両までの距離を導出してもよい。
照明ドライバ14は、複数の照明用LED21の点灯あるいは消灯を切り替えるためのスイッチング回路等を用いて構成される。照明ドライバ14は、プロセッサ10からの制御指示に従い、複数の照明用LED21を点灯または消灯に切り替える。また、照明ドライバ14は、照明用LED21の発光量を調節可能な可変増幅回路等を更に有してもよい。この場合、照明ドライバ14は、プロセッサ10からの制御指示に従い、照明用LED21の発光量を調節することで調光できる。
レンズドライバ15は、レンズブロック50内の各種のレンズLZ(図11参照)の位置を調整するための電気回路を用いて構成される。レンズドライバ15は、プロセッサ10からの制御指示に従い、レンズブロック50内のフォーカスレンズの位置を調節する。なお、レンズブロック50がズームレンズを内蔵する場合、レンズドライバ15は、プロセッサ10からの制御指示に従い、ズームレンズの倍率を調節してもよい。
レンズ内フィルタ切替ドライバ17は、レンズ内フィルタ切替モジュール60を駆動するための電気回路を用いて構成される。レンズ内フィルタ切替ドライバ17は、プロセッサ10からの制御指示に従い、レンズ内フィルタ切替モジュール60を駆動し、光軸上にIRカットフィルタあるいは素ガラスのいずれかを配置する。
前面フィルタ切替ドライバ16は、前面フィルタ切替モジュール用モータ43を駆動させるための電気回路を用いて構成される。前面フィルタ切替ドライバ16は、プロセッサ10からの制御指示に従い、前面フィルタ切替モジュール用モータ43を駆動し、光軸op(図11参照)上にバンドパスフィルタ41または偏光フィルタ42を配置する。
図11は、前面フィルタ切替モジュール40の光学的配置の一例を示す図である。前面フィルタ切替モジュール40は、前面フィルタ切替ドライバ16により、光軸opに対して直交する方向(具体的には図1の左右方向)にスライド移動自在である。日中モード時、前面フィルタ切替モジュール40は、害光(例えば、車両のフロントガラス等の窓ガラスからの反射光等)を減光させるために、レンズブロック50の前面に偏光フィルタ42が位置するように、矩形枠401をスライド移動させる。一方、夜間モード時、前面フィルタ切替モジュール40は、車両からのヘッドライトを減光させるために、レンズブロック50の前面にバンドパスフィルタ41が位置するように、矩形枠401をスライド移動させる。
なお、矩形枠401は、光軸opに対して直交する方向(具体的には図1の左右方向)に対し、機械的な可動範囲(つまりメカストローク)内で移動可能である。前面フィルタ切替モジュール用モータ43の回転が前面フィルタ切替モジュール用モータ43の起動後に増速すると、前面フィルタ切替モジュール用モータ43の角速度が徐々に上昇し、一定の角速度に達する。この場合、矩形枠401は、加速から一定速で移動可能な範囲(つまりソフトストローク)に移行する。
一方、前面フィルタ切替モジュール用モータ43の回転が減速すると、前面フィルタ切替モジュール用モータ43の角速度が徐々に下降して0(ゼロ)になる。矩形枠401は、一定速から減速で移動する。矩形枠401が一定速で移動可能な範囲(つまりソフトストローク)は、前面フィルタ切替モジュール用モータ43のトルクによって任意に調節可能である。また、前面フィルタ切替モジュール用原点センサ48によって検出される原点からの矩形枠401の距離によって、偏光フィルタ42またはバンドパスフィルタ41の光軸opに対する位置が調節される。
偏光フィルタ旋回ドライバ18は、偏光フィルタ回転用モータ44を駆動するための電気回路を用いて構成される。偏光フィルタ旋回ドライバ18は、プロセッサ10からの制御指示に従い、偏光フィルタ回転用モータ44を駆動し、光軸op上に配置された偏光フィルタ42の偏光軸を光軸opを中心に所定角度(つまり偏光角θpl)分だけ回転させる。偏光フィルタ42の偏光軸が傾くことで、偏光フィルタ42を透過する光の量は制限される。
偏光フィルタ42は、機械的な回転範囲(つまりメカストローク)内で回転可能である。偏光フィルタ回転用モータ44の回転が偏光フィルタ回転用モータ44の起動後に増速すると、偏光フィルタ回転用モータ44の角速度が徐々に上昇し、一定の角速度に達する。この場合、偏光フィルタ42は、加速から一定速で回転な可能な範囲(つまりソフトストローク)に移行する。
一方、偏光フィルタ回転用モータ44の回転が減速すると、偏光フィルタ回転用モータ44の角速度が徐々に下降して0(ゼロ)になる。偏光フィルタ42は、一定速から減速で回転する。偏光フィルタ42が一定速で回転可能な範囲(つまりソフトストローク)は、偏光フィルタ回転用モータ44のトルクによって任意に調節可能である。また、偏光フィルタ回転用原点センサ4016によって検出される原点からの偏光フィルタ42の回転量によって、偏光フィルタ42の偏光軸の角度(偏光角)が調節される。
次に、実施の形態1に係るカメラ装置5の各種の動作を順に説明する。
以下、カメラ装置5のプロセッサ10が主に後述する各処理を実行する例を説明する。なお、プロセッサ10は、撮像素子12により撮像された撮像映像のデータに対する各処理をサーバ80に実行させるように、通信部19を介して外部装置(例えばサーバ80)に送信してもよい。
図12は、カメラ装置5の撮像動作手順を示すフローチャートである。
図12に示す処理は、例えばカメラ装置5の電源がオンされて起動してから電源がオフになるまで繰り返して実行される。なお、図12に示す処理は、一定の時間間隔ごと、あるいは所定時刻に行われるように予め設定されてもよい。
図12において、プロセッサ10は、撮像素子12のシャッタ駆動設定(例えば電子シャッタのオンあるいはオフを切り替えるための露光時間の設定)を行う(S1)。例えば、プロセッサ10は、奇数番目のフレームの撮像の際には、所定時間より短い第1露光時間に設定し、偶数番目のフレームの撮像の際には、前述した所定時間より長い第2露光時間に設定する。また、プロセッサ10は、露光時間を一定期間ごとに第1露光時間と第2露光時間とを交互に切り替えて設定してもよい。
プロセッサ10は、撮像素子12からの映像信号(例えば撮像素子12により撮像された撮像映像に対応する電気信号)を取得する(S2)。
プロセッサ10は、ステップS2において取得された映像信号に対して所定の信号処理を施すことで、映像データ(つまり撮像映像のデータ)を生成する(S3)。前述した所定の信号処理には、例えばノイズ除去、ホワイトバランス、画像圧縮等の処理が含まれるが、これらの処理に限定されない。
プロセッサ10は、ステップS3で生成された映像データとステップS1において設定された設定データとを対応付けてメモリ11に蓄積する(S4)。設定データには、露光時間、撮像日時等の情報が含まれる。この後、プロセッサ10の処理はステップS1に戻る。つまり、次のフレームの撮像のための処理が実行される。
図13は、映像配信手順を示すフローチャートである。
図13に示す処理は、例えばカメラ装置5の電源がオンされて起動してから電源がオフになるまで繰り返して実行される。なお、図13に示す処理は、一定の時間間隔ごと、あるいは所定時刻に行われるように予め設定されてもよい。
図13において、プロセッサ10は、メモリ11に対応付けて蓄積されている映像データと設定データとを読み出して取得する(S11)。
プロセッサ10は、ステップS11において取得された映像データ(より具体的にはその映像データの撮像時の露光時間)に適したエンコード処理(つまり符号化処理)を行う(S12)。例えば、プロセッサ10は、車両のフロントガラス等の窓ガラス越しの運転者の顔を鮮明な顔画像として取得する場合、低圧縮率で符号化を行う。なお、プロセッサ10は、映像データのデータ量を減らす場合、高圧縮率で符号化を行う。
プロセッサ10は、ステップS12においてエンコード処理された映像データをストリームとして、通信部19を介してサーバ80あるいはレコーダ90等の外部機器に対してネットワーク配信を行う(S13)。例えば、映像データの配信先がレコーダ90である場合、レコーダ90は、映像データを蓄積する。また、映像データの配信先がサーバ80である場合、サーバ80は、カメラ装置5から配信された映像データに対し、各種の処理(表示処理、画像解析処理等)を実行する。この後、プロセッサ10の処理はステップS11に戻る。
図14は、日中・夜間切替動作手順を示すフローチャートである。
図14に示す処理は、例えばカメラ装置5の電源がオンされて起動してから電源がオフになるまで繰り返して実行される。なお、図14に示す処理は、一定の時間間隔ごと、あるいは所定時刻に行われるように予め設定されてもよい。
図15は、日中モードおよび夜間モードの設定が登録されたテーブルTb0の登録内容の一例を示す図である。このテーブルTb0は、例えばメモリ11に予め登録される。テーブルTb0では、日中モードでは、前面フィルタ切替モジュール40は、偏光フィルタ42を光軸上に配置することの指示情報が登録される。また、レンズ内フィルタ切替モジュール60は、IRカットフィルタを光軸上に配置することの指示情報が登録される。また、照明用LED21は消灯することの指示情報が登録される。
一方、夜間モードでは、前面フィルタ切替モジュール40は、バンドパスフィルタ41を光軸上に配置することの指示情報が登録される。また、レンズ内フィルタ切替モジュール60は、素ガラスを光軸上に配置することの指示情報が登録される。また、照明用LED21は点灯することの指示情報が登録される。図14に示す日中・夜間切替動作は、このテーブルTb0の登録内容を基に行われる。
図14において、プロセッサ10は、照度センサ13によって検出されるカメラ装置5の周囲の環境の照度情報を取得する(S21)。プロセッサ10は、照度センサ13により検出された照度情報を基に、現時点が日中(例えば朝方あるいは昼間)であるか、夜間(例えば夕方あるいは夜中)であるかを判定する(S22)。
プロセッサ10は、日中あるいは夜間の判定結果を基に、カメラ装置5の動作モードを日中モードあるいは夜間モードのいずれに設定するかを判別する(S23)。例えば、メモリ11は所定の照度に関する閾値を記憶して保持し、この閾値より高ければ日中モードと判定され、この閾値より低ければ夜間モードと判定されてよい。
日中モードの場合、プロセッサ10は、図15に示すテーブルTb0に基づいて、日中モード時の処理を実行させるための制御指示を生成して前面フィルタ切替ドライバ16に送り、前面フィルタ切替ドライバ16を介して、前面フィルタ切替モジュール40を駆動する(S24)。日中モードでは、偏光フィルタ42が光軸上に位置するように移動する。また、プロセッサ10は、同様に前述した制御指示を偏光フィルタ旋回ドライバ18に送り、偏光フィルタ旋回ドライバ18を介して、偏光フィルタ回転用モータ44を駆動して偏光フィルタ42を回転させる。偏光フィルタ42を回転させる動作の詳細については、後述する。
また、プロセッサ10は、同様に前述した日中モード用の制御指示をレンズ内フィルタ切替ドライバ17に送り、レンズ内フィルタ切替ドライバ17を介して、レンズ内フィルタ切替モジュール60を駆動する(S25)。日中モードでは、撮像素子12で撮像されるRGB画像を鮮明にするために、レンズ内フィルタ切替モジュール60ではIRカットフィルタが光軸上に位置するように移動する。
また、プロセッサ10は、同様に前述した日中モード用の制御指示を照明ドライバ14に送り、照明ドライバ14を介して、複数の照明用LED21を消灯する(S26)。この後、プロセッサ10の処理はステップS21に戻る。
一方、夜間モードの場合、プロセッサ10は、図15に示すテーブルTb0に基づいて、夜間モード時の処理を実行させるための制御指示を生成して前面フィルタ切替ドライバ16に送り、前面フィルタ切替ドライバ16を介して、前面フィルタ切替モジュール40を駆動する(S27)。夜間モードでは、バンドパスフィルタ41が光軸上に位置するように移動する。
また、プロセッサ10は、同様に前述した夜間モード用の制御指示をレンズ内フィルタ切替ドライバ17に送り、レンズ内フィルタ切替ドライバ17を介して、レンズ内フィルタ切替モジュール60を駆動する(S28)。夜間モードでは、カメラ装置5に入射するIR光を遮断しないように、レンズ内フィルタ切替モジュール60では素ガラスが光軸上に位置するように移動する。
また、プロセッサ10は、同様に前述した夜間モード用の制御指示を照明ドライバ14に送り、照明ドライバ14を介して、複数の照明用LED21を点灯する(S29)。複数の照明用LED21は、カメラ装置5の被写体(例えば車両)に向けてIR光を照射する。この後、プロセッサ10の処理はステップS21に戻る。
(前面フィルタ切替モジュールの別の光学的配置例)
図16は、前面フィルタ切替モジュール40の他の光学的配置を示す図である。例えば図11に示す光学的配置では、前面フィルタ切替モジュール40は、レンズブロック50の前面側に配置される。しかし、前面フィルタ切替モジュール40は、レンズブロック50の後面側であってかつ撮像素子12の前面側に配置されてもよい。
図16に示す光学的配置においても、図11に示す光学的配置と同様の効果が得られる。更に、前面フィルタ切替モジュール40は、レンズブロック50より後面側かつ撮像素子12より前面側に配置される。従って、前面フィルタ切替モジュール40の前側にレンズブロック50が配置されることになり、例えばレンズブロック50内のレンズの交換が容易である。
このように、実施の形態1に係るカメラ装置5は、日中モードを検知する照度センサ13を有する。これにより、カメラ装置5は、IRカットフィルタを光軸上に簡単に挿抜できる。プロセッサ10は、日中モードが検知された場合に、運転者が乗車している車両を撮像し、運転者の顔画像を生成する。また、レンズブロック50は、IRカットフィルタの使用の有無を切り替え可能に支持する。プロセッサ10は、日中モード中には、IRカットフィルタを撮像素子12の前面側に配置させる。これにより、カメラ装置5は、日中に車両内の運転者の顔を撮像する場合、IRカットフィルタを光軸上に配置するので、IR光を遮断でき、撮像素子12によって鮮明なRGB画像を得ることができる。また、カメラ装置5は、夜間にIR光を照射して車両内の運転者の顔を撮像する場合、IRカットフィルタを光軸上から外すので、IR光が素ガラスを透過するので、照明された運転者の顔を含む明るい画像が得られる。
また、カメラ装置5は、日中モードまたは夜間モードを検知する照度センサ13と、夜間モード中に車両VC(図18参照)にIR光を照射するLED本体部20とを有する。前面フィルタ切替モジュール40は、偏光フィルタ42とIR光を通過させるバンドパスフィルタ41とを切り替え可能に支持する。プロセッサ10は、日中モード中には、偏光フィルタ42を撮像素子12の前面側に配置させ、夜間モード中には、バンドパスフィルタ41を撮像素子12の前面側に配置させる。これにより、カメラ装置5は、日中において車両のフロントガラス等の窓ガラスからの反射光の入射を抑制して運転者の顔を高精度に撮像できる。また、カメラ装置5は、夜間においてIR光以外の光をバンドパスフィルタ41を介して遮断できるので、撮像素子12にて受光されたIR光に基づいて暗さが抑制されたIR画像を撮像できる。
(偏光フィルタの回転)
例えば車両のフロントガラス等の窓ガラスを透して車両内の運転者の顔を撮像する場合、その窓ガラスで反射された周辺光を低減することが求められる。カメラ装置5は、日中モードにおいて偏光フィルタ42をカメラ装置5の光軸上に配置する際、車両が走行する車線や車種に拘わらず、運転者の顔を鮮明に撮像できるように、偏光フィルタ42を適応的に回転させることができる。
図17は、車種ごとの窓ガラス角度θwおよび検知角度θccがそれぞれ登録されたテーブルTb1,Tb2の登録内容の一例を示す図である。テーブルTb1には、車種に対応する窓ガラス角度θwが登録される。窓ガラス角度θw(例えばフロントガラス角度)は、車種によって決まる固定値である。一例として、セダン、SUV(Sport Utility Vehicle)、軽自動車、バスの窓ガラス角度θwは、それぞれ25度、35度、70度、85度である。これらの固定値は、例えばシミュレーションあるいは実測により予め求められた計算値が使用されてよい。
テーブルTb2には、車種と車線とに対応する検知角度θccが登録される。検知角度θccの一例として、カメラ装置5の設置箇所から見て手前側の車線RL1(図19参照)の検知角度θcc1と、カメラ装置5の設置箇所から見て奥側の車線RL2(図19参照)の検知角度θcc2とが示される。また、車種の一例として、セダン、SUV、軽自動車が示される。
手前側の車線RL1におけるセダン、SUV、軽自動車の検知角度θcc1は、それぞれ8.5度、6.8度、5.7度である。奥側の車線RL2におけるセダン、SUV、軽自動車の検知角度θcc2は、それぞれ19.2度、15.6度、13.1度である。これらの値は、例えばシミュレーションあるいは実測により予め求められた計算値が使用されてよい。カメラ装置5は、車両VCを検知した際、車両VCが走行する車線と車種とを判定して車線と車種のそれぞれの情報を取得すると、テーブルTb2を参照し、車両VCの検知角度θccを取得できる。これらのテーブルTb1およびテーブルTb2は、例えばメモリ11に記憶される。
図18は、車両VCの窓ガラスcgの窓ガラス角度θwを示す図である。図18では、カメラ装置5は、車両VCを俯瞰して撮像できるように、歩道等の路肩に設置されたポール301の上部に固定的に取り付けられる。窓ガラス角度θwは、車両VCの車体の水平ラインHL(例えば地面に相当)からの傾斜角で表される。
図19は、カメラ装置5が車線RL1,RL2をそれぞれ走行する車両VC1,VC2をそれぞれ撮像する場合、各車両VC1,VC2の進行方向に対応する検知角度θcc1,θcc2を示す図である。説明を分かり易くするために、車両VC1,VC2は、それぞれ車線RL1,RL2の中央を走行しているとする。ここでは、説明を分かり易くするために、窓ガラスcg1,cg2は、それぞれ車両VC1,VC2のフロントガラスとしている。
カメラ装置5から車両VC1,VC2までの水平方向の距離LHは、例えば20〜30mである。車線RL1,RL2の各道路幅は、例えば4mである。カメラ装置5から車線RL1の端までの距離WL0は、例えば1mである。カメラ装置5から車線RL1の中央までの距離WL1は、例えば3mである。カメラ装置5から車線RL2の中央までの距離WL2は、例えば7mである。
検知角度θcc1は、カメラ装置5から車両VC1の窓ガラスcg1の中央上部に至るラインと、カメラ装置5から車線RL1の走行ラインとがなす水平成分の角度である。同様に、検知角度θcc2は、カメラ装置5から車両VC2の窓ガラスcg2の中央上部に至るラインと、カメラ装置5から車線RL2の走行ラインとがなす水平成分の角度である。
図20は、カメラ装置5が車両VCを検知した場合の偏光フィルタ42の偏光角の算出手順を示すフローチャートである。
図20に示す処理は、例えば日中モード時、前面フィルタ切替モジュール40の切り替え動作によって光軸上に偏光フィルタ42が配置された時(図14のステップS24参照)、プロセッサ10による撮像映像の解析により、道路を走行する車両VCが検知されたことを契機に行われる。
先ず、車両検知の一例として、プロセッサ10は、メモリ11にそれぞれの車種に対応する典型的な車両画像を参照画像(つまりテンプレート)として登録しておき、撮像素子12により撮像された撮像映像を構成する撮像画像のフレームと参照画像とのテンプレートマッチングを行う。プロセッサ10は、撮像画像のフレーム内における特徴点の類似度が所定の閾値以上である場合に、道路の車線を走行する車両を検知する。なお、車両の検知方法は、上述したテンプレートマッチング法に限らず、車両にマイクロ波あるいは赤外光を照射しその反射によって車両の有無を検知する車両検知センサをカメラ装置5の近傍に取り付けあるいは内部に備え、カメラ装置5が車両検知センサから検知信号を受信することで行われてもよい。
図20において、プロセッサ10は、撮像素子12によって撮像されてメモリ11に記憶された撮像映像を構成する撮像画像のフレームの解析を行う(S41)。プロセッサ10は、解析の結果、撮像画像のフレームに含まれる車両VCの車種および車線の位置を判定する(S42)。
ここで、車種の判定は、車両検知の場合と同様に行われる。例えばプロセッサ10は、メモリ11に車種ごとの車両画像を参照画像(つまりテンプレート)として登録しておき、撮像素子12により撮像された撮像映像を構成する撮像画像のフレームと参照画像とのテンプレートマッチングを行う。プロセッサ10は、撮像画像のフレーム内における特徴点の類似度が所定の閾値以上である場合に、その車両VCの車種を特定する。また、車線の判定は、例えばプロセッサ10が、撮像画像のフレーム内に含まれる道路上の1本のセンターラインと2本のサイドラインを認識し、車両VCがセンターラインを挟む2本のサイドラインのどちらの側に位置するかを特定することで行われる。
プロセッサ10は、ステップS42の後、テーブルTb1,Tb2を参照し、車種および車線に対応する検知角度θccと車種に対応する窓ガラス角度θwとを取得する(S43)。このように、プロセッサ10は、車両VC1,VC2の車種とそれぞれの車両VC1,VC2が走行する車線RL1,RL2を判定する。プロセッサ10は、車両VC1,VC2の車種と車線RL1,RL2との判定結果を基に、テーブルTb2を参照し、車種に対応する検知角度を取得する。これにより、カメラ装置5は、検知された車両VC1,VC2の検知角度θcc1,θcc2を容易に得ることができる。
プロセッサ10は、窓ガラス角度θwおよび検知角度θccを基に、数式(1)に従い、検知された車両に合わせて偏光フィルタ42を回転させるべき回転角(以下「偏光角θpl」)を計算する(S44)。偏光角θplは、例えば後述する図21に示されるΔθ1,Δθ2と等しく、偏光フィルタ42の偏光軸の最適な角度である。
Figure 2020057869
プロセッサ10は、数式(1)により計算された偏光角θplの回転を指示するための制御指示を生成して偏光フィルタ旋回ドライバ18に送り、偏光フィルタ42の偏光軸を偏光角θplだけ回転させる(S45)。この後、プロセッサ10の処理は終了する。
このように、カメラ装置5は、被写体としての車両VCからの光を結像するレンズLZ(例えばフォーカスレンズ)を含むレンズブロック50を有する。カメラ装置5は、フォーカスレンズにより結像された車両VCからの光に基づいて撮像する撮像素子12を有する。カメラ装置5は、撮像素子12に受光される車両VCからの光を制限する偏光フィルタ42を回転可能に支持する前面フィルタ切替モジュール40を有する。カメラ装置5は、撮像素子12により撮像された車両VCの撮像画像に基づいて、車両VCの車種を判定するプロセッサ10を有する。プロセッサ10は、判定された車種に応じて、車種に対応する回転角(例えば偏光角θpl)の分だけ偏光フィルタ42を回転させる。
これにより、カメラ装置5は、車両VC内の運転者の顔を撮像する際、その車両VCが走行する道路の車線や車種が異なっても、窓ガラスcgからの反射光をできるだけ入射しないように遮蔽できる。従って、撮像素子12によって撮像される、運転者の顔画像が鮮明になる。このように、カメラ装置5は、車両VCの車種に合わせて車両内の人物の顔を撮像する時の害光の影響を適応的に低減できるので、撮像画像の画質の劣化を抑制することができる。
また、プロセッサ10は、車両VCの撮像画像に基づいて、カメラ装置5から見た車両VCが検知された方向を示す検知角度θccを導出するとともに、車種に対応する窓ガラスと地面とのなす窓ガラス角度θwと検知角度θccとに基づいて回転角(偏光角θpl)を導出する。これにより、プロセッサ10は、車両VCの車種および車線に対応した偏光フィルタ42の回転角(つまり偏光角θpl)を正確かつ適応的に算出できる。
また、カメラ装置5は、車種と窓ガラス角度θwとを対応付けたテーブルTb1を記憶するメモリ11を備える。これにより、プロセッサ10は、窓ガラス角度θwをわざわざ幾何学的に算出することなく(言い換えると、算出の処理負荷を要することなく)、簡単に取得できる。
(運転者の顔と助手席に座る乗員の顔の両方を撮像)
車両VCの内部を撮像する際、運転席に座る運転者の顔の他、助手席に座る乗員の顔も鮮明に撮像したいという要求がある。しかし、窓ガラス越しの運転者の顔にだけ偏光フィルタの偏光角を合わせた場合、助手席側の窓ガラスからの反射光を十分に遮断することができず、助手席に座る乗員の顔が見えにくくなることがある。カメラ装置5は、運転者の顔と助手席に座る乗員の顔のいずれも鮮明に撮像できるようにする。
図21は、偏光フィルタ42の偏光角の設定を説明する斜視図である。図22は、車両VCを上方から見た場合、窓ガラスcgの形状を示す平面図である。車両VCの窓ガラスcgは、例えば5mの曲率半径を有する球面の一部となるように成形されているとする。つまり、フロントガラス等の窓ガラスcgは、プレーンな平面に成形されておらず、球面形状を有する。
カメラ装置5は、車両VCの進行方向に設置されている。偏光フィルタ42の偏光軸の天地方向(鉛直方向)からの傾きである偏光角θplは、運転席に座る運転者hm1(第1人物の一態様)の顔および助手席に座る乗員hm2(第2人物の一態様)の顔に合わせた最適な偏光角度に設定される。図21に示すように、カメラ装置5が進行方向の正面から車両VCを撮像する場合、偏光角θplは、運転席に座る運転者hm1の顔と助手席に座る乗員hm2の顔とでは、それぞれ反対向きで等しい角度になる。
例えば、運転者hm1の顔を撮像する場合、偏光フィルタ42の偏光角は、天地方向(鉛直方向)からΔθ1だけ左側に傾いていると、窓ガラスcgからの反射光を遮るのに最適な偏光角度となる。また、助手席に座る乗員hm2の顔を撮像する場合、偏光フィルタ42の偏光角は、天地方向(鉛直方向)からΔθ2だけ右側に傾いていると、窓ガラスcgからの反射光を遮るのに最適な偏光角度となる。従って、偏光フィルタ42は、運転者hm1の顔と助手席に座る乗員hm2の顔の両方を鮮明に撮像するために、2枚の偏光フィルタ421(第1偏光フィルタの一態様),422(第2偏光フィルタの一態様)を内蔵することができる。なお、偏光フィルタ42は、単一の偏光フィルタ(例えば、偏光フィルタ421)だけを有する構成としてもよい。
図23は、2枚の偏光フィルタ421,422を重ね合わせた偏光フィルタ42の構成を示す分解斜視図である。図24は、偏光フィルタ42の外観およびその断面を示す図である。
偏光フィルタ42は、2枚の偏光フィルタ421,422およびリング状の枠体423を有し、2枚の偏光フィルタ421,422が重なって枠体423の内側に嵌合された構造を有する。2枚の偏光フィルタ421,422の周縁部には、それぞれ突起421z,422zが形成される。枠体423の内側の周縁部には、2枚の偏光フィルタ421,422が枠体423の内側に嵌合された際、突起421z,422zを収容するとともに、突起421z,422zの回転を制限する凹部423zが形成される。凹部423zの図中右側の内壁は、偏光軸に対してΔθ1だけ傾斜して形成される。凹部423zの図中左側の内壁は、偏光軸に対してΔθ2だけ傾斜して形成される。
2枚の偏光フィルタ421,422は、枠体423の内側に嵌合された際、所定の角度傾いた状態に維持される。つまり、偏光フィルタ421は、運転者の顔を撮像するのに最適な偏光角θplとなるように、その偏光軸が天地方向(鉛直方向)からΔθ1だけ左側に傾いた状態となる。また、偏光フィルタ422は、助手席に座る乗員の顔を撮像するのに最適な偏光角θplとなるように、その偏光軸が天地方向(鉛直方向)からΔθ2だけ右側に傾いた状態となる。
偏光フィルタ42を透して撮像する場合、運転者の顔近傍の窓ガラスcgで反射された反射光は、偏光フィルタ421によって遮られる。また、助手席側の乗員の顔近傍からの窓ガラスcgで反射された反射光は、偏光フィルタ422によって遮られる。従って、偏光フィルタ42を透して撮像素子12で車両の前方を撮像する場合、運転者の顔と助手席に座る乗員の顔との両方がいずれも鮮明である撮像画像が得られる。なお、光軸方向に沿って並べて配置される偏光フィルタ421および偏光フィルタ422のうち前側(言い換えると、被写体側)の偏光フィルタを無機製に、後側(言い換えると、撮像側)の偏光フィルタを有機製にすることで、紫外線を遮光し、かつ有機製の偏光フィルタの劣化を保護することができる。これは、有機製の偏光フィルタは紫外線に弱く劣化が進み易くなり、一方で、無機製の偏光フィルタは紫外線に強く劣化がしにくいことによる。
図25は、最適な偏光角度の算出を説明する図である。一例として、窓ガラス角度θwが25度である場合を示す。窓ガラスcgは、前述したように球面の一部を形成する。球面の曲率半径SRは、例えば5000mm(つまり5m)である。運転席と助手席の間の距離は、例えば750mmである。
図25に示すように、曲率半径SRの中心から窓ガラスcgまでの長さHは、数式(2)で表される。
Figure 2020057869
また、偏光フィルタ42の偏光軸の最適な偏光角は、数式(3)で表される。
Figure 2020057869
従って、偏光角θplの最適な偏光角度は、数式(3)により、例えば4.7度と算出される。
なお、ここでは、2枚の偏光フィルタ421,422を重ね合わせた構造を有する偏光フィルタ42を示したが、n枚の偏光フィルタを重ね合わせた構造を有する偏光フィルタであってもよい。例えば、窓ガラスcgの特定箇所に外部からの光が反射する箇所がある場合、この箇所からの反射光も遮るように、n枚目の偏光フィルタを重ね合わせてもよい。また、助手席に座る乗員の顔を運転者の顔と同時に撮像する場合を示したが、更に後部座席に座る乗員の顔を同時に撮像する場合も、n枚目の偏光フィルタを重ね合わせた構造を有する偏光フィルタを使用してもよい。
このように、偏光フィルタ42は、天地方向(鉛直方向)を基準として、カメラ装置5から見て車両VCの運転席側の運転者hm1の方向を示す第1角度に傾けられた偏光フィルタ421と、カメラ装置5から見て車両VCの助手席側に座る乗員hm2の方向を示す第2角度に傾けられた偏光フィルタ422と、が重ね合わされて構成される。
これにより、カメラ装置5は、運転席側の窓ガラスcgに偏光フィルタ42の偏光角を合わせて運転席側の窓ガラスからの反射光を遮断できるとともに、助手席側の窓ガラスcgに偏光フィルタの偏光角を合わせて助手席側の窓ガラスからの反射光を遮断できる。従って、運転者の顔と助手席に座る乗員の顔を一緒に鮮明に撮像できる。
(偏光フィルタの変形例)
上記偏光フィルタ421,422には、位置決め部として突起421z,422zが形成され、偏光フィルタ421,422の位置決めが行われた。図26は、変形例の偏光フィルタ42mを示す正面図である。偏光フィルタ42mの外周縁には、位置決め部として凹部42mzが形成される。一方、枠体の内側には、凹部42mzと係合する突起が形成される。偏光フィルタ42mが枠体の内側に嵌合されると、偏光フィルタ42mの凹部42mzと枠体の突起とが係合し、偏光フィルタ421,422が位置決めされる。なお、位置決め部は、偏光軸上の位置と一致することなく設定されてよい。
(枝葉の影の除去)
車両内の運転者の顔を撮像する場合、窓ガラスに木の枝葉等の影が映り込んでいると、撮像画像には運転者の顔と枝葉等の影とが重なり合って、運転者の顔が見えにくく、不鮮明になる。窓ガラスに映り込む影には、上述した木の枝葉以外にも、電信柱、電線、ビルの影等が含まれる。カメラ装置5は、枝葉等の影が窓ガラスに映り込んでも、車両内の運転者の顔を鮮明に撮像できるようにする。
図27は、カメラ装置5が停車中の車両VCの窓ガラス部分を撮像する状況を示す平面図である。停車中の車両VCの窓ガラスcgには、枝葉br等の影sdが映り込んでいる。カメラ装置5が窓ガラスcg越しに撮像する撮像画像には、運転者hm1(乗車している人物の一態様)の顔と重なるように枝葉br等の影sdが映り込むため、十分な輝度が得られず運転者hm1の顔が判別しにくくなる。
図28は、カメラ装置5が走行中の車両VCの窓ガラス部分を連続して撮像する状況を示す側面図である。被写体は、走行中の車両VCである。時刻t10では、枝葉br等が車両VCの窓ガラスcgの上部に投影されて枝葉br等の影sdが生じている。この時点でカメラ装置5が撮像する撮像画像には、運転者hm1の顔と重なって枝葉br等の影sdが映り込むため、運転者hm1の顔が判別しにくくなる。その後の時刻t11では、枝葉br等の影sdは、窓ガラスcgの上部を越えたルーフrfに移動している。この時点でカメラ装置5が撮像する画像には、運転者hm1の顔と重なるような枝葉br等の影sdが映り込まないため、十分な輝度が得られており運転者hm1の顔が判別し易くなる。
ここで、車両VCの窓ガラスcgに映り込む枝葉等の影を除去する処理について説明する。図29は、枝葉等の影を除去する処理手順を示すフローチャートである。
図29において、プロセッサ10は、撮像素子12により撮像された撮像映像を取得する(S51)。プロセッサ10は、撮像された撮像映像を構成する個々の撮像画像のフレームに車両VCを検知したか否かを判別する(S52)。車両の検知は、前述した方法で同様に行われるので、ここでは詳細な説明は省略する。車両が検知されない場合(S52、NO)、プロセッサ10の処理はステップS51に戻る。
一方、車両が検知された場合(S52、YES)、プロセッサ10は、撮像映像を構成する個々の撮像画像のフレームに含まれる車両部分を切り抜き(つまり抽出し)、車両部分の画像(以下「車両画像」)のデータをメモリ11に記憶する(S53)。
プロセッサ10は、ステップS53の後、Nフレーム分の車両画像をメモリ11に蓄積したか否かを判別する(S54)。ここで、Nフレームは、初期設定で予め決められる任意のフレーム数である。例えばN=6、つまり6フレーム分の車両画像がメモリ11に蓄積されたか否かが判別される。Nフレーム分の車両画像が蓄積されていない場合(S54、NO)、プロセッサ10の処理はステップS51に戻る。
Nフレーム分の車両画像が蓄積された場合(S54、YES)、プロセッサ10は、Nフレームのそれぞれの車両画像中の所定位置(例えばルームミラーの位置)を基準に位置合わせを行い、窓ガラス部分の画像(以下「窓ガラス画像」)を切り取る(S55)。更に、プロセッサ10は、切り取ったN枚の窓ガラス画像を、それぞれが全て同一のサイズになるように拡大処理を実行する(S56)。なお、N枚の窓ガラス画像を同一のサイズに変更する場合、拡大の代わりに縮小の処理が行われてもよい。例えば、Nフレーム中の最大サイズの窓ガラス画像に大きさを揃えるのでなく、中間サイズの窓ガラス画像に大きさを揃えてもよい。
プロセッサ10は、全てのNフレームのそれぞれの窓ガラス画像に対し、注目画素位置において輝度値が所定の閾値を超えるか否かを判別する(S57)。注目画素位置とは、窓ガラス画像の中で注目している画素の位置である。また、所定の閾値は、初期設定で予め決められた任意の値である。一例として、閾値は、輝度の範囲が「0〜255」の値で表される場合に中間値である「128」に設定される。
全てのNフレームのそれぞれの注目画素位置において輝度値が所定の閾値を超える場合(S57、YES)、プロセッサ10は、全てのNフレームのそれぞれの注目画素位置における輝度値の平均値を合成値として算出する(S58)。
一方、全てのNフレームのそれぞれの注目画素位置において輝度値が所定の閾値を越えていない場合(S57、NO)、つまり輝度値が所定の閾値以下となるフレームが1フレームでもある場合、プロセッサ10は、その注目画素位置における輝度値が所定の閾値以下となるフレームにおける注目画素位置の平均値を合成値として算出する(S59)。
ステップS58,S59の処理後、プロセッサ10は、全ての注目画素位置に対して、ステップS58あるいはステップS59の処理を行ったか否かを判別する(S60)。全ての注目画素位置に対してステップS58あるいはステップS59の処理を行っていない場合、プロセッサ10は、ステップS58あるいはステップS59の処理の対象となる注目画素位置を次の注目画素位置に移行(セット)する(S61)。この後、プロセッサ10の処理はステップS57に戻る。なお、ステップS60で全ての注目画素位置に対してステップS58あるいはステップS59の処理が実行された場合には(S60、YES)、図29に示すプロセッサ10の処理は終了する。
図30は、連続して撮像された走行中の車両のNフレーム分の窓ガラス画像に対し、各窓ガラス画像を同一のサイズに拡大する処理を説明する図である。図30に示すように、1フレーム目の窓ガラス画像GZ1,…,GZ6になるにつれて、サイズは徐々に大きくなっている。これは、車両VCがカメラ装置5に向かって徐々に近づくように移動しているためである。
プロセッサ10は、1フレーム目の窓ガラス画像GZ1に対し、拡大処理を行うことで、拡大された窓ガラス画像RGZ1を得る。ここでは、拡大前の窓ガラス画像GZ1のサイズは、例えば「554×179」ピクセルである。拡大された窓ガラス画像RGZ1のサイズは、例えば「570×184」ピクセルである。拡大後の画像サイズは、Nフレームの窓ガラス画像の中で最も大きな画像サイズと一致するように揃えられる。つまり、図30では、6フレーム目の窓ガラス画像GZ6のサイズである「570×184」ピクセルが拡大処理後の画像サイズとなる。
同様に、プロセッサ10は、2フレーム目の窓ガラス画像GZ2に対し、拡大処理を行うことで、拡大された窓ガラス画像RGZ2を得る。ここでは、拡大前の窓ガラス画像GZ2のサイズは、例えば「559×180」ピクセルである。拡大された窓ガラス画像RGZ2のサイズは、同様に「570×184」ピクセルとなる。
同様に、プロセッサ10は、3フレーム目の窓ガラス画像GZ3に対し、拡大処理を行うことで、拡大された窓ガラス画像RGZ3を得る。ここでは、拡大前の窓ガラス画像GZ3のサイズは、例えば「563×182」ピクセルである。拡大された窓ガラス画像RGZ3のサイズは、同様に「570×184」ピクセルとなる。
同様に、プロセッサ10は、4フレーム目の窓ガラス画像GZ4に対し、拡大処理を行うことで、拡大された窓ガラス画像RGZ4を得る。ここでは、拡大前の窓ガラス画像GZ4のサイズは、例えば「566×183」ピクセルである。拡大された窓ガラス画像RGZ4のサイズは、同様に「570×184」ピクセルとなる。
同様に、プロセッサ10は、5フレーム目の窓ガラス画像GZ5に対し、拡大処理を行うことで、拡大された窓ガラス画像RGZ5を得る。ここでは、拡大前の窓ガラス画像GZ5のサイズは、例えば「568×183」ピクセルである。拡大された窓ガラス画像RGZ5のサイズは、同様に「570×184」ピクセルとなる。
なお、プロセッサ10は、6フレーム目の窓ガラス画像GZ6に対しては、拡大処理を実行しない。
図31は、拡大処理が施された全6フレームの窓ガラス画像を合成する処理を説明する図である。
例えば、注目画素位置が運転者の目の位置である場合、注目画素の輝度値が所定の閾値以下である窓ガラス画像は、矢印a1,a2に示すように、1フレーム目の窓ガラス画像RGZ1と2フレーム目の窓ガラス画像RGZ2である。従って、この注目画素については、窓ガラス画像RGZ1の注目画素の画素値と窓ガラス画像RGZ2の注目画素の画素値との合成値が合成画像(図32参照)の画素値となる(図29のステップS59参照)。つまり、注目画素の輝度値が所定の閾値を超える3フレーム目から6フレーム目までの4フレーム分の窓ガラス画像は、合成画像の生成に用いられない(矢印a3,a4,a5,a6参照)。これは、注目画素の輝度値が所定の閾値を超える3フレーム目から6フレーム目までの4フレーム分の窓ガラス画像は、例えば木の枝葉の影が窓ガラスcgに映り込んで明るく撮像されており、その影の影響を排除するためである。
また、注目画素位置が助手席側の窓ガラスcgの位置である場合、注目画素の輝度が所定の閾値以下である窓ガラス画像は、矢印b1,b2,b3,b4,b5,b6に示すように、存在しない。つまり、全6フレームにおいて注目画素の輝度値が所定の閾値を超える。従って、この注目画素については、窓ガラス画像RGZ1〜RGZ5,窓ガラス画像GZ6の全注目画素の画素値の合成値が合成画像(図32参照)の画素値となる。これは、注目画素の輝度値が所定の閾値を超える全6フレーム分の窓ガラス画像は、例えば木の枝葉の影が窓ガラスcgに映り込んでおらず、木の枝葉の影の影響を排除する必要が無いためである。
図32は、6フレーム分の窓ガラス画像RGZ1〜RGZ5,窓ガラス画像GZ6を合成した合成画像mGZの一例を示す図である。合成画像mGZでは、窓ガラス画像の輝度値が所定の閾値以下である画素だけを合成することで、運転者の顔が映っている(つまり木の枝葉の影の影響を受けていない)比較的暗い領域の画像が際立って鮮明になる。また、窓ガラス画像の輝度値が所定の閾値を超える画素を全て合成することで、窓ガラスcgで反射している害光(例えば太陽光)等の比較的明るい領域の画像がボケたようになる。
つまり、カメラ装置5は、窓ガラス画像の輝度値が所定の閾値以下である画素だけを合成することで、運転者hm1の顔が映っている比較的暗い領域の画像を際立たせて鮮明な画像を生成できる。一方で、カメラ装置5は、窓ガラス画像の輝度値が所定の閾値を超える画素を全て合成することで、窓ガラスcgで反射している害光(例えば太陽光)等の比較的明るい領域の画像をぼかした画像を生成できる。運転者の顔を除く背景の一部がボケることで、合成画像に映る運転者の顔がより一層際立つ。従って、枝葉等の影が窓ガラスに映り込む状況であっても、カメラ装置5は、車両内VCの運転者の顔を鮮明に撮像できる。
このように、カメラ装置5は、日中に被写体としての車両VCからの光を結像するレンズLZ(例えばフォーカスレンズ)を含むレンズブロック50を有する。カメラ装置5は、フォーカスレンズにより結像された車両VCからの光に基づいて撮像する撮像素子12を有する。カメラ装置5は、撮像素子12により撮像された、時間的に異なる複数枚の車両VCの撮像画像に基づいて、日中の害光(例えば太陽光)の影響を抑圧した、車両VC内の運転者hm1の顔画像を生成するプロセッサ10を有する。
これにより、例えば木の枝葉等の影が窓ガラスcgに映り込む状況に車両VCが位置する場合でも、カメラ装置5は、その車両VC内の運転者の顔を鮮明に撮像した撮像画像を生成できる。
また、プロセッサ10は、それぞれの撮像画像内の運転者hm1の顔画像を含む車両画像(所定領域の一態様)を抽出し、抽出された車両画像を構成する画素ごとに、その画素における輝度値が所定の閾値以下となる枚数分の撮像画像の平均値を導出し、画素ごとの平均値を用いて、顔画像を生成する。これにより、カメラ装置5は、車両画像の輝度値が所定の閾値以下である画素だけを合成することで、運転者の顔が映っている、比較的暗い領域の画像を際立たせて鮮明な画像にできる。
また、プロセッサ10は、それぞれの撮像画像内の運転者hm1の顔画像を含む車両画像を抽出し、抽出された車両画像を構成する画素ごとに、その画素における輝度値が閾値より大きい全ての車両画像の平均値を導出し、画素ごとの平均値を用いて、顔画像を生成する。これにより、カメラ装置5は、窓ガラス画像の輝度値が閾値を超える画素を全て合成することで、窓ガラスcgで反射している外光等の比較的明るい領域の画像をぼかした画像にできる。運転者の顔を除く背景の一部がボケることで、合成画像に映る運転者の顔がより一層際立つ。
(夜間撮像)
次に、例えば夕方あるいは夜間にIR光を照明して走行中の車両VC内の運転者の顔を連続して撮像する場合、カメラ装置からの距離が離れている程、車両VC内の運転者の顔は暗く、近づくにつれて明るくなる映像が得られる。この結果、均一な輝度値の映像が得られず、運転者の顔が見づらくなる。カメラ装置5は、走行中の車両VC内の運転者の顔の撮像映像がほぼ均一な輝度値で得られるようにする。
図33は、カメラ装置5からの距離に応じてIR光の照度が変化する原理を説明する図である。カメラ装置5は、例えば視野に対応する道路を俯瞰可能に、ポール301の上部に固定的に取り付けられる。カメラ装置5の上側に装着されるLED本体部20の筐体20zの前面には、複数の照明用LED21が配置される。それぞれの照明用LED21は、夜間モード時、プロセッサ10からの制御指示に応じて、カメラ装置5の方向に走行してくる車両VCに対して、IR光を照射する。
従来、偏りの無い均一な照度分布を有するIR光が車両等の被写体に向けて照射された場合、そのIR光の光源(例えばLED)から車両までの距離が短い程、IR光は高照度で車両に照射される。一方、IR光の光源(例えばLED)から車両までの距離が長い程、IR光は低照度で車両に照射される。
ここで、従来構成のカメラ装置5zまでの距離が短い車両位置(例えば20m)、カメラ装置5zまでの距離が中間の車両位置(例えば25m)、カメラ装置5zまでの距離が長い車両位置(例えば30m)を想定する。中間の車両位置を基準と見なしてIR光の照度をP0’とすると、距離の短い車両位置では、IR光の照度P1’は、距離比の2乗に比例してP0’×(25/20)と高くなる。つまり、距離の短い車両位置では、明るくなり過ぎてしまう。一方、距離の長い車両位置では、IR光の照度P2’は、P0’×(25/30)と低くなる。つまり、距離の長い車両位置では、暗くなり過ぎてしまう。
これに対し、実施の形態1に係るカメラ装置5では、それぞれの照明用LED21から車両VCに向けて照射されるIR光は、照明用LED21から車両VCまでの距離が短い程に低照度となり、照明用LED21から車両VCまでの距離が長い程に高照度となる照度分布を有する。
ここで、カメラ装置5までの距離が短い車両位置(例えば20m)、カメラ装置5までの距離が中間の車両位置(例えば25m)、カメラ装置5までの距離が長い車両位置(例えば30m)を想定する。同様に中間の車両位置を基準と見なしてIR光の照度を照射基準強度P0とすると、距離の短い車両位置では、IR光の照度P1は、距離比の2乗に比例してP0×(20/25)と低くなる。一方、距離の長い車両位置では、IR光の照度P2は、P0×(30/25)と高くなる。
図34は、照明用LED21の構成および照度分布を示す図である。照明用LED21は、例えばLED素子211および凸平レンズ212から構成される。LED素子211は、例えば波長850nmのIR光を発光して照射する。凸平レンズ212は、LED素子211の中心軸に垂直な方向に対して上方(図1参照)が前面側に傾いて配置される。この傾きは、例えば15度に設定される。LED素子211が発光し、凸平レンズ212を透過して出射されるIR光は、LED素子211の中心軸に垂直な方向に対し、図34に示す偏った照度分布で照射される。
具体的には、LED素子211からのIR光の照度分布では、LED素子211の中心軸の方向に凸平レンズ212を透過したIR光の照度を照射基準強度とすると、図34の上側(図1参照)に向かう程、照度(照射強度)が高く、図34の下側(図1参照)に向かう程、照度(照射強度)が低くなる。なお、図34では、凸平レンズ212から出射される光線について、レンズ直近で見ると、直進の光線q2と上向きの光線q1が重なりレンズ下方からの光が強く見えるが、遠方(例えば車両VCが位置する地点)では上向きの光線q1が支配的になり上方の照度(照射強度)が高くなる。従って、照明用LED21が走行してくる車両VCに向かって照射する場合、遠方の車両VCに対して輝度が高くなり、近付いてくる車両VCに対して輝度が低くなる。これにより、カメラ装置5は、カメラ装置5に向かってくる車両とカメラ装置5との距離の長短に拘わらず、適応的に車両を撮像できるので、車両内に乗車している運転者の顔の高精度な撮像画像を得ることができる。
このように、カメラ装置5では、照明用LED21は、カメラ装置5からの所定の距離(例えば25m)への照射強度を照射基準強度P0とした場合に、所定の距離より遠い位置(例えば30m)への照射強度(照度P2)を照射基準強度P0より高く、所定の距離より近い位置(例えば20m)への照射強度(照度P1)を照射基準強度P0より低い照度分布を有するIR光を照射する。これにより、カメラ装置5は、走行中の車両VCとカメラ装置5との間の距離に拘わらず、適応的に車両VCをほぼ均一な照度で撮像できる。従って、カメラ装置5により撮像された撮像映像に映る車両VC内の運転者の顔が見やすくなる。
以上により、実施の形態1に係るカメラ装置5は、被写体としての車両からの光を結像するレンズLZを含むレンズブロック50を有する。カメラ装置5は、レンズLZにより結像された車両VCからの光に基づいて撮像する撮像素子12を有する。カメラ装置5は、撮像素子12に受光される車両VCからの光を制限する偏光フィルタ42を回転可能に支持するフィルタユニット(前面フィルタ切替モジュール40)を有する。カメラ装置5は、撮像素子12により撮像された車両VCの撮像画像に基づいて、車両VCの車種を判定するプロセッサ10を有する。プロセッサ10は、判定された車種に応じて、車種に対応する回転角の分だけ偏光フィルタ42を回転させる。
これにより、カメラ装置5は、車両VC内の運転者の顔を撮像する際、その車両VCが走行する道路の車線や車種が異なっても、窓ガラスcgからの反射光をできるだけ入射しないように遮蔽できる。従って、撮像素子12によって撮像される、運転者の顔画像が鮮明になる。このように、カメラ装置5は、車両VCの車種に合わせて車両内の人物の顔を撮像する時の害光の影響を適応的に低減できるので、撮像画像の画質の劣化を抑制することができる。
また、プロセッサ10は、車両VCの撮像画像に基づいて、カメラ装置5から見た車両VCが検知された方向を示す検知角度θccを導出するとともに、車種に対応するフロントガラスと地面とのなす窓ガラス角度θwと検知角度θccとに基づいて回転角(偏光角θpl)を導出する。これにより、カメラ装置5は、車両VCの車種および車線に対応した偏光フィルタ42の回転角(つまり偏光角θpl)を正確かつ適応的に算出できる。
また、カメラ装置5は、車種とフロントガラス角度とを対応付けたテーブルを記憶するメモリ11を更に有する。これにより、カメラ装置5は、窓ガラス角度θwをわざわざ幾何学的に算出することなく(言い換えると、算出の処理負荷を要することなく)、簡単に取得できる。
また、偏光フィルタ42は、鉛直方向を基準として、カメラ装置5から見て車両VCの運転席側の第1人物(例えば運転者)の方向を示す第1角度Δθ1に傾けられた第1偏光フィルタ(偏光フィルタ421)と、カメラ装置5から見て車両VCの助手席側の第2人物(例えば運転者の知人)の方向を示す第2角度Δθ2に傾けられた第2偏光フィルタ(偏光フィルタ422)と、が重ね合わされて構成される。これにより、カメラ装置5は、運転席側の窓ガラスcgに偏光フィルタ42の偏光角を合わせて運転席側の窓ガラスからの反射光を遮断できるとともに、助手席側の窓ガラスcgに偏光フィルタの偏光角を合わせて助手席側の窓ガラスからの反射光を遮断できる。従って、運転者の顔と助手席に座る乗員の顔を一緒に鮮明に撮像できる。
また、フィルタユニット(前面フィルタ切替モジュール40)は、レンズブロック50より前面側に配置される。これにより、レンズブロック50に被写体からの光が入射する前に偏光フィルタ42によって効果的に入射光が制限されるので、レンズブロック50内のレンズ構成を複雑にすることなく、簡易な構成で撮像素子12に入射光を受光させることができる。
また、フィルタユニット(前面フィルタ切替モジュール40)は、レンズブロック50より後面側かつ撮像素子12より前面側に配置される。これにより、前面フィルタ切替モジュール40の前側にレンズブロック50が配置されることになり、例えばレンズブロック50内のレンズの交換が容易となる。
また、実施の形態1に係るカメラ装置5は、日中に被写体としての車両からの光を結像するレンズを含むレンズブロック50を有する。カメラ装置5は、レンズLZにより結像された車両VCからの光に基づいて撮像する撮像素子12を有する。カメラ装置5は、撮像素子12により撮像された、時間的に異なる複数枚の車両VCの撮像画像に基づいて、日中の害光の影響を抑圧した、車両VC内に乗車している人物の顔画像を生成するプロセッサ10を有する。
これにより、カメラ装置5は、例えば木の枝葉等の影が窓ガラスcgに映り込む状況に車両VCが位置する場合でも、その車両VC内の運転者の顔を鮮明に撮像した撮像画像を生成できる。
また、プロセッサ10は、それぞれの撮像画像内の人物の顔画像を含む所定領域を抽出し、抽出された所定領域を構成する画素ごとに、その画素における輝度値が閾値以下となる枚数分の撮像画像の平均値を導出し、画素ごとの平均値を用いて、顔画像を生成する。これにより、カメラ装置5は、車両画像の輝度値が所定の閾値以下である画素だけを合成することで、運転者の顔が映っている、比較的暗い領域の画像を際立たせて鮮明な画像にできる。
また、プロセッサ10は、それぞれの撮像画像内の人物の顔画像を含む所定領域を抽出し、抽出された撮像画像内の所定領域を構成する画素ごとに、その画素における輝度値が閾値より大きい全ての撮像画像の平均値を導出し、画素ごとの前記平均値を用いて、顔画像を生成する。これにより、カメラ装置5は、窓ガラス画像の輝度値が閾値を超える画素を全て合成することで、窓ガラスcgで反射している外光等の比較的明るい領域の画像をぼかした画像にできる。運転者の顔を除く背景の一部がボケることで、合成画像に映る運転者の顔がより一層際立つ。
また、カメラ装置5は、日中モードを検知する照度センサ13を更に有する。プロセッサ10は、日中モードが検知された場合に、顔画像を生成する。これにより、カメラ装置5は、IRカットフィルタを光軸上に簡単に挿抜できる。また、カメラ装置5は、日中に車両内の運転者の顔を撮像する場合、IRカットフィルタを光軸上に配置するので、IR光を遮断でき、撮像素子12によって鮮明なRGB画像を得ることができる。
また、カメラ装置5は、日中モードまたは夜間モードを検知する照度センサ13と、夜間モード中に被写体にIR光を照射する照明部(照明用LED21)と、を更に有する。フィルタユニット(前面フィルタ切替モジュール40)は、偏光フィルタ42とIR光を通過させるバンドパスフィルタ41とを切り替え可能に支持する。プロセッサ10は、日中モード中には、偏光フィルタ42を撮像素子12の前面側に配置させ、夜間モード中には、バンドパスフィルタ41を撮像素子12の前面側に配置させる。これにより、カメラ装置5は、カメラ装置5は、日中において車両のフロントガラス等の窓ガラスからの反射光の入射を抑制して運転者の顔を高精度に撮像できる。また、カメラ装置5は、夜間においてIR光以外の光をバンドパスフィルタ41を介して遮断できるので、撮像素子12にて受光されたIR光に基づいて暗さが抑制されたIR画像を撮像できる。
また、レンズブロック50は、IRカットフィルタの使用の有無を切り替え可能に支持する。プロセッサ10は、日中モード中には、IRカットフィルタを撮像素子12の前面側に配置させる。これにより、カメラ装置5は、日中に車両内の運転者の顔を撮像する場合、IRカットフィルタを光軸上に配置するので、IR光を遮断でき、撮像素子12によって鮮明なRGB画像を得ることができる。
また、照明部(照明用LED21)は、カメラ装置5からの所定の距離への照射強度を照射基準強度とした場合に、所定の距離より遠い位置への照射強度を照射基準強度より高く、所定の距離より近い位置への照射強度を照射基準強度より低い照度分布を有するIR光を照射する。これにより、カメラ装置5は、走行中の車両VCとカメラ装置5との間の距離に拘わらず、適応的に車両VCをほぼ均一な照度で撮像できる。従って、カメラ装置5により撮像された撮像映像に映る車両VC内の運転者の顔が見やすくなる。
また、バンドパスフィルタ41は、車両VCから照射されるヘッドライトの波長帯域を有する光を遮断する。これにより、カメラ装置5は、夜間でも窓ガラス(例えば車両のフロントガラス)越しに映る、IR光で照らされた車両内の運転者の顔を適応的に明るく撮像できる。
また、プロセッサ10は、車両VCの撮像画像に基づいて、車両VCが走行する車線を判定するとともに、判定された車種および車線に対応する検知角度を導出する。これにより、カメラ装置5は、検知された車両VC1,VC2の検知角度θcc1,θcc2を容易に得ることができる。
また、第1偏光フィルタ(偏光フィルタ421)および第2偏光フィルタ(偏光フィルタ422)のうち、被写体側の材質が無機製である。これにより、有機製の偏光フィルタは紫外線に弱く劣化が進み易くなり、一方で、無機製の偏光フィルタは紫外線に強く劣化がしにくいため、被写体側(図1に示す前側を参照)の無機製の偏光フィルタが紫外線を遮光し、かつ有機製の偏光フィルタの劣化を保護することができる。
(実施の形態2の構成に至る経緯)
従来、車両内の運転者の顔とその車両のナンバープレートとの両方をカメラで撮像し、運転者の顔と車両のナンバープレートとを対応付けることが行われていた。これは、車両のナンバープレートは、言うまでもなく車両の識別情報だからである。しかし、夜間においては、車両は、ナンバープレートの両側にそれぞれ配置された一対のヘッドランプからヘッドライトを点灯して走行する。このため、ナンバープレートは、ヘッドランプの保護ガラス内で乱反射されたヘッドライトによって明るく照らされる。ナンバープレートは、例えば金属板で成形されているので光沢性があり、照らされた光をよく反射する。このような夜間の状況で、カメラが運転者の顔とナンバープレートとの両方を撮像すると、窓ガラス越しにある運転者の顔が暗くなるとともに、ナンバープレートが明るくなり過ぎてしまう。この結果、撮像された撮像画像に含まれる運転者の顔が不鮮明になるという課題があった。また、ナンバープレートが白飛びしてナンバーを判読できないという課題もあった。
そこで、実施の形態2では、夜間においてヘッドライトを点灯して走行している車両に対して、その車両の運転者の顔とその車両のナンバープレートとの両方を鮮明に撮像できるカメラ装置の例を説明する。
(実施の形態2)
実施の形態2に係るカメラ装置の内部構成は、実施の形態1に係るカメラ装置5の内部構成と同様の構成を有する。このため、実施の形態2に係るカメラ装置の説明において、実施の形態1に係るカメラ装置5の内部構成と同一の構成要素については同一の符号を用いることで、その説明を簡略化あるいは省略し、異なる内容について説明する。
実施の形態2に係るカメラ装置5は、実施の形態1と同様に、例えば車両VC(図37参照)を被写体とし、車両VC内に乗車している人物(例えば運転者)の顔とその車両VCのナンバープレートとの両方を鮮明に撮像し、その人物の顔およびナンバープレートの撮像画像(撮像映像)を生成して取得する。つまり、撮像素子12は、車両VC内の運転者の顔とナンバープレートとの両方を撮像し、同一の車両VCに対応する運転者の顔画像とナンバープレート画像とを含む撮像画像を生成する。撮像素子12を用いた撮像時、プロセッサ10は、複数の撮像条件で撮像素子12に撮像動作を実行させる。
撮像条件として、実施の形態1でも説明したが、例えば標準的な露光基準時間に対し、その露光基準時間より露光時間を長くすることと、その露光基準時間より露光時間を短くすることとが挙げられる。
また、他の撮像条件として、実施の形態1でも説明したような偏った照度分布で照明用LED21が車両VCを照明して撮像することが挙げられる。
また、他の撮像条件として、走行する車両VCを遠距離および近距離の2回の撮像タイミングで撮像することが挙げられる。
また、他の撮像条件として、感度が撮像面のエリアごとに異なる撮像素子を用いて撮像することが挙げられる。
また、他の撮像条件として、車両画像の窓ガラスを囲むエリアを高感度に撮像することが挙げられる。また、夜間にヘッドライト光を減光して撮像することが挙げられる。
以下に、上述した各種の撮像条件を使用した場合のカメラ装置5の動作例を具体的に説明する。
(長時間露光の画像と短時間露光の画像の撮像)
図35は、実施の形態2に係る長時間露光撮影による撮像画像と短時間露光撮影による撮像画像とを合成して合成画像を生成する処理を示す図である。プロセッサ10は、例えば図12のステップS1における設定データに基づいて、長時間露光撮影による撮像画像GZ21と短時間露光撮影による撮像画像GZ22とを交互に撮像し、2フレーム分の撮像画像を得る。2フレームの撮像画像は、撮像画像GZ21と撮像画像GZ22である。
撮像画像GZ21は、長めの露光時間が設定された状態で撮像されているので、窓ガラスcg越しの運転者hm1の顔を含む明るく鮮明な顔画像である。
一方、撮像画像GZ22は、短めの露光時間が設定された状態で撮像されているので、光沢性の高いナンバープレートNpを含む車両VCのナンバーが判読可能なナンバープレート画像である。
撮像画像GZ21では、窓ガラス部分および運転者hm1の顔が暗くても、露光時間を長くすることで明るい画像を撮像できる。但し、この場合、明るいナンバープレートNpの部分は、白飛びしてしまう。一方、撮像画像GZ22では、ナンバープレートの部分が明るくても、露光時間を短くすることで白飛びすることなくナンバーを判読可能に撮像できる。但し、この場合、窓ガラス部分および運転者の顔が暗くなってしまう。
プロセッサ10は、これらの同一の車両に対応する撮像画像GZ21および撮像画像GZ22をメモリ11に一時記憶する。更に、プロセッサ10は、メモリ11に一時記憶された撮像画像GZ21および撮像画像GZ22を、通信部19を介してネットワークNWに接続されたレコーダ90に記録する。レコーダ90は、車両ごとの撮像画像GZ21および撮像画像GZ22を蓄積する。
プロセッサ10は、メモリ11に一時記憶された、あるいはレコーダ90に蓄積された撮像画像GZ21および撮像画像GZ22を読み出す。プロセッサ10は、長時間露光による撮像画像GZ21から窓ガラス部分の画像WGZを切り抜き、短時間露光による撮像画像GZ22からナンバープレートNpを含む画像NGZを切り抜き、これらの切り抜き画像を合成し、合成画像mGZ2を生成する。合成画像mGZ2のうち、画像WGZおよび画像NGZ以外の画像部分については、撮像画像GZ21と撮像画像GZ22のいずれの部分を使用してもよいし、空白であってもよい。
なお、上記合成処理は、カメラ装置5で行われたが、カメラ装置5がネットワークNWに接続されたサーバ80(外部装置)に映像データを送信し、サーバ80が上記合成処理を実行してもよい。
図36は、映像配信手順を示すフローチャートである。
図36に示す処理は、例えばカメラ装置5の電源がオンされて起動してから電源がオフになるまで繰り返して実行される。なお、図36に示す処理は、一定の時間間隔ごと、あるいは所定時刻に行われるように予め設定されてもよい。
図36において、プロセッサ10は、メモリ11に対応付けて蓄積されている映像データと設定データとを読み出して取得する(S111)。
プロセッサ10は、ステップS111において取得された映像データが長時間露光撮影による映像データであるか、あるいは短時間露光撮影による映像データであるかを判別する(S112)。この判別は、例えばデータ量(データサイズ)によって行われる。長時間露光による映像データのデータ量は多く、短時間露光による映像データのデータ量は少ないので、これらの判別は容易である。なお、映像データに紐付けられた設定データに露光時間が含まれる場合、プロセッサ10は、この設定データを用いて判別してもよい。
長時間露光である場合、プロセッサ10は、長時間露光撮影による映像データに適したエンコード処理(つまり符号化処理)を行う(S113)。例えば、プロセッサ10は、窓ガラスcg越しの運転者hm1の顔を鮮明な顔画像として取得する場合、低圧縮率でエンコード処理(符号化処理)を行う。なお、データ量を減らすために、高圧縮率のエンコード処理を行ってもよい。
一方、短時間露光である場合、プロセッサ10は、短時間露光撮影による映像データに適したエンコード処理(つまり符号化処理)を行う(S114)。例えば、プロセッサ10は、ナンバーが容易に判読可能なナンバープレート画像を取得する場合、低圧縮率でエンコード処理を行う。
プロセッサ10は、ステップS113,S114の処理後、エンコード処理された映像データを、通信部19およびネットワークNWを介してサーバ80に配信する(S115)。映像データを配信する場合、一定期間、長時間露光撮影による映像データを配信し、次の一定期間、短時間露光撮影による映像データを配信する動作を繰り返してもよい。また、配信は逆の順番で行われてもよい。また、所定のフレーム数ごとに長時間露光撮影による映像データと短時間露光撮影による映像データとを交互に切り替えて配信してもよい。例えば、1フレーム単位で切り替えて配信する場合、奇数番目のフレームは、長時間露光撮影による映像データとし、偶数番目のフレームは、短時間露光撮影による映像データとしてもよい。なお、逆の順番でもよい。この後、プロセッサ10の処理はステップS111に戻る。
サーバ80は、カメラ装置5から長時間露光撮影による映像データと短時間露光撮影による映像データとを受信すると、これらの映像データを合成して合成映像を生成する。
このように、プロセッサ10は、撮像素子12での長い露光時間で得られた画像(第1撮像画像の一態様)と、撮像素子12での短い露光時間で得られた画像(第2撮像画像の一態様)とを時分割に取得する。プロセッサ10またはサーバ80は、長い露光時間で得られた画像から抽出した顔画像と、短い露光時間で得られた画像から抽出したナンバープレート画像とを合成して、同一の車両に対応する顔画像とナンバープレート画像との合成画像を生成する。
従って、カメラ装置5は、長時間露光撮影による顔画像と短時間露光撮影によるナンバープレート画像とを合成することで、窓ガラスcg越しの運転者hm1の顔が鮮明に撮像され、かつ、ナンバープレートのナンバーが判読可能に撮像された撮像映像を得ることができる。
なお、メモリ11に一時記憶された撮像画像GZ21および撮像画像GZ22をレコーダ90に記録する場合も、プロセッサ10は、上記手順と同様の手順で、通信部19を介してネットワークNWに接続されたレコーダ90に映像データを配信する。
このように、実施の形態2に係るカメラ装置5は、車両VCに乗車している運転者hm1(人物の一態様)の顔と車両VCのナンバープレートNpとを含む車両VC(被写体の一態様)からの光を結像するレンズLZ(例えばフォーカスレンズ)を含むレンズブロック50を有する。カメラ装置5は、フォーカスレンズにより結像された車両VCからの光に基づいて撮像処理を実行する撮像素子12を有する。カメラ装置5は、この撮像処理により生成された車両VCの撮像画像に基づいて、同一の車両に対応する車両VCに乗車している運転者hm1の顔画像とその車両VCのナンバープレート画像とを生成するプロセッサ10を有する。プロセッサ10は、車両VCからの光に基づく撮像時に複数の撮像条件を用いて撮像素子12に撮像処理を実行させる。
これにより、カメラ装置5は、車両に乗車している運転者hm1の顔ならびにその車両のナンバープレートNpを含む車両VCの撮像画像から運転者hm1の顔およびナンバープレートNpのそれぞれの高画質な画像を生成でき、車両内の運転者hm1と車両のナンバープレートとの対応関係を示すデータの構築を支援することができる。なお、車両内の人物は、運転者に限らず、助手席や後部座席に座る乗員のいずれでもよい。
また、プロセッサ10は、長時間露光(第1撮像条件の一態様)の撮像処理により生成された車両VCの撮像画像から顔画像を抽出し、短時間露光(第2撮像条件の一態様)の撮像処理により生成された車両VCの撮像画像からナンバープレート画像を抽出する。これにより、カメラ装置5は、顔画像の撮像に適した長めの露光時間の設定された状態で得られた鮮明な顔画像と、光沢性があるために反射し易いナンバープレートNpの撮像に適した短めの露光時間の設定された状態で得られたナンバープレート画像との両方を生成できる。
また、長時間露光撮影では、撮像素子12での露光時間が長く、短時間露光撮影では、撮像素子12での露光時間が短い。これにより、カメラ装置5は、運転者hm1の顔が明るい顔画像を撮像でき、ナンバープレートが白飛びしない程度の明るさを有したナンバープレート画像を撮像できる。
カメラ装置5は、レコーダ90やサーバ80との間でデータ通信を行う通信部19を備える。プロセッサ10は、同一の車両VCに対応する顔画像とナンバープレート画像とを、通信部19を介してレコーダ90に記録させる。これにより、カメラ装置5は、顔画像とナンバープレート画像とが対応付けられた撮像画像のデータを外部のレコーダ90に蓄積させることが可能である。また、カメラ装置5は、外部のサーバ80に撮像画像の画像解析あるいは合成処理を要求することで、カメラ装置5の処理負荷を軽減できる。
また、プロセッサ10は、通信部19を介してサーバ80に送信可能である。サーバ80は、各種の処理を行う。例えば、サーバ80は、画像解析を行って顔画像を認識し、運転者hm1の顔画像が予め登録されている顔画像と一致するか否かを判別する。また、サーバ80は、画像解析を行い、ナンバープレートNpの画像からナンバーを判読し、予め登録されているナンバーと一致するか否かを判別する。サーバ80は、運転者hm1とナンバープレートNpとの対応関係を得ることができる。
(実施の形態2の変形例1)
図37は、実施の形態2の変形例1に係る照明用LED21で車両VCを照明する状況を示す図である。説明を分かり易くするために、例えば車両VCは停車中としている。照明用LED21は、実施の形態1に係るカメラ装置5(例えば図34参照)と同様に、偏った照度分布を有するIR光を照射する。即ち、車両VCの車体上部には、IR光が高照度で照射される。一方、車両VCの車体下部には、IR光が低照度で照射される。
このように、照明用LED21(照明部)は、窓ガラスcg(例えばフロントガラス)へのIR光の照射強度を所定の照射基準強度より高く、ナンバープレートNpへのIR光の照射強度を所定の照射基準強度より低い照度分布でIR光を照射する。
これにより、カメラ装置5は、窓ガラスcg越しの運転者hm1の顔とナンバープレートNpの両方を撮像する場合、窓ガラスcg越しの運転者hm1の顔を明るく撮像できるとともに、明るく撮像され易いナンバープレートNpを、明るさを抑えて撮像できる。従って、撮像画像に含まれる運転者の顔画像が鮮明になり、また、ナンバープレートのナンバーが判読可能となる。
また、プロセッサ10は、撮像画像に含まれる運転者hm1の顔画像とナンバープレートNpのナンバープレート画像とを対応付けてメモリ11に一時記憶する。プロセッサ10は、メモリ11に一時記憶された顔画像データとナンバープレート画像データを読み出し、通信部19を介してレコーダ90に送信可能である。レコーダ90は、運転者hm1の顔画像データとナンバープレートNpの画像データを蓄積する。また、プロセッサ10は、通信部19を介してサーバ80に送信可能である。サーバ80は、上記同様の処理を行う。
(実施の形態2の変形例2)
図38は、実施の形態2の変形例2に係るカメラ装置5が遠近で撮像する状況を示す図である。説明を分かり易くするために、車両VCは、カメラ装置5の方向に走行中としている。図38に示すように、照明用LED21は、従来構成の照明用LEDと同様に、均一な照度分布を有するIR光を照射してよい。但し、実施の形態2の変形例2において、照明用LED21は、実施の形態1に係るカメラ装置5(例えば図34参照)と同様に、偏った照度分布を有するIR光を照射してもよい。プロセッサ10は、距離センサ26の測定結果に基づいて、車両VCまでの距離に関する情報を取得する。
距離センサ26による測定の結果、走行中の車両VCがカメラ装置5から遠い距離にある場合、照明用LED21から照射されるIR光は、距離の2乗に反比例して弱くなる。照明用LED21は、IR光を低照度でナンバープレートNpに照射する。従って、カメラ装置5は、弱く照らされたナンバープレートNpを撮像する。ナンバープレートNpが明るくなり過ぎないので、ナンバープレート画像に含まれるナンバーが判読可能である。
その後、距離センサ26による測定の結果、走行中の車両VCが近付いてカメラ装置5から近い距離になると、照明用LED21から照射されるIR光は、距離の2乗に反比例して強くなる。照明用LED21は、IR光を高照度で窓ガラスcgおよび窓ガラス越しの運転者hm1の顔に照射する。従って、カメラ装置5は、明るく照らされた窓ガラス越しの運転者hm1の顔を撮像する。運転者hm1の顔が暗くならないので、顔画像が鮮明になる。
このように、実施の形態2の変形例2に係るカメラ装置5は、車両VCまでの距離を計測可能な距離センサ26を備える。プロセッサ10は、距離センサ26の計測結果に基づいて、カメラ装置5から近距離(所定の第1距離の一態様)に車両VCが位置する時にナンバープレートNpの撮像処理を撮像素子12に実行させる。一方、カメラ装置5から遠距離(所定の第2距離の一態様)に車両VCが位置する時に運転者hm1(人物)の顔の撮像処理を撮像素子12実行させる。
これにより、カメラ装置5は、例えば2回の撮像動作によって得られる2フレーム分の映像から、鮮明な運転者の顔画像およびナンバーが判読可能なナンバープレート画像を得ることができる。従って、運転者の顔とナンバープレートの対応付けが容易に行える。
(実施の形態2の変形例3)
図39は、実施の形態2の変形例3に係る撮像素子12の撮像面121を示す図である。撮像素子12の撮像面121は、図中上下に異なる感度分布を有してよい。一例として、撮像面121の上側エリア121aは、ISO感度の高い領域である。撮像面121の下側エリア121bは、ISO感度の低い領域である。上側エリア121aのISO感度は、下側エリア121bのISO感度に対し、例えば2倍の高感度である。ISO感度は、撮像素子に入射した光を電気信号に変える能力を表す。ISO感度が2倍になると、撮像素子12の出力として、2倍の電気信号が得られる。従って、撮像面121の上側エリア121aでは、下側エリア121bと比べて、被写体が暗くても明るく撮像可能である。
図39では、撮像面121には、車両VCの正面が映っている。窓ガラスcg部分は、撮像面121の上側エリア121aに含まれる。上側エリア121aのISO感度が大きいので、窓ガラスcg部分が多少暗くても、窓ガラス越しの運転者の顔を明るく撮像できる。
ナンバープレートNpは、撮像面121の下側エリア121bに含まれる。下側エリア121bのISO感度が小さいので、ナンバープレートNpがヘッドライト光によって明るく照らされても、撮像素子12は、白飛びすることなく、ナンバープレート画像を撮像できる。
実施の形態2の変形例3に係るカメラ装置5では、車両VC内の運転者hm1(車両に乗車している人物)が映る撮像素子12の上側エリア121a(第1領域)の撮像面121は、感度の高い画素で構成される。車両VCのナンバープレートNpが映る撮像素子12の下側エリア121b(第2領域)の撮像面121は、感度の低い画素で構成される。
これにより、カメラ装置5は、窓ガラス越しの運転者の顔を明るく撮像でき、また、ナンバープレートを明るさを抑えて撮像できる。従って、鮮明な運転者の顔画像およびナンバーが判読可能なナンバープレート画像を得ることができる。なお、ここでは、高感度なエリアと低感度なエリアとは、撮像面を上下に2分割することで得られたが、撮像面を斜方向に2分割することで得られてもよい。
(実施の形態2の変形例4)
図40は、実施の形態2の変形例4に係る撮像素子12の撮像面121を示す図である。プロセッサ10は、撮像面121に映る撮像画像に対し、画像処理を行い、窓ガラスcg部分を検出する。プロセッサ10は、窓ガラスcg部分を囲む矩形枠wkを設定し、矩形枠wk内の画素の感度を上げる処理を行う。画素の感度は、撮像素子12に含まれるアンプによって増幅される電荷信号のゲインを、ゲイン調整部によって可変することで行われる。また、画素の感度を上げる処理の一例として、プロセッサ10は、隣接する画素間の位置における画素値を公知の線形補間等の画像処理によって擬似的に感度を上げてもよい。
また、プロセッサ10は、矩形枠wk外の画像(ナンバープレートを含む)に対し、画素の感度を下げる処理を行う。画素の感度を下げることで、ナンバープレート画像の輝度が抑えられる。なお、ナンバープレートが明るくなり過ぎない場合、プロセッサ10は、画素の感度を下げる処理を行わなくてもよい。
実施の形態2の変形例4に係るカメラ装置5では、プロセッサ10は、車両VCの撮像画像に基づいて、車両VCの窓ガラスcg(フロントガラス)を検出し、検出された撮像画像中の窓ガラスcgに対応する画素の感度を所定値より上げる。
このように、カメラ装置5は、窓ガラスcg部分を囲む矩形枠wk内の画素の感度を上げることで、窓ガラス越しの運転者の顔を明るく撮像でき、また、ナンバープレートを明るさを抑えて撮像できる。なお、照度の状況によっては、プロセッサは、矩形枠wk内の画素の感度を上げる処理と、矩形枠wk外の画像の感度を下げる処理とのいずれか一方だけを行ってもよい。
(実施の形態2の変形例5)
夜間モード時、プロセッサ10は、バンドパスフィルタ41が光軸上に位置するように、前面フィルタ切替モジュール40を切り替える。
図41は、実施の形態2の変形例5に係るバンドパスフィルタ41によるヘッドライトの遮光を説明するグラフである。各グラフの横軸は波長λを示す。図41では、波長λに対する、ヘッドライトの光強度、バンドパスフィルタ41の光透過率、および照明用LED21から照射されるIR光の光強度を表すグラフが示される。
照明用LED21から照射されるIR光は、例えば850nmの波長を中心とした所定範囲の波長帯域を有する(図41参照)。ヘッドライトは、広い波長帯域を有し、高い照射強度を有する。バンドパスフィルタ41は、波長850nmの光透過率が大きい特性を有し、図41に示される略矩形状の波長帯域(つまり、照明用LED21から照射されるIR光と同等の波長帯域)の光を透過するが、その波長帯域以外の光を遮断(遮光)する。
図42は、夜間にヘッドライトhdを点灯している車両VCにIR光を照明して撮像する状況を示す図である。カメラ装置5の撮像素子12は、バンドパスフィルタ41を透過したIR光の光学像を撮像する。撮像されるIR光の光学像は、主に照明用LED21によって照射されたIR光のうち、窓ガラスcg部分(例えば窓ガラスcg越しの運転者の顔を含む)で反射された反射光と、ナンバープレートNpで反射された反射光とによるものである。ヘッドライトhdは、バンドパスフィルタ41によって、IR光の波長域を除いて遮断される。従って、カメラ装置5により撮像される撮像画像には、ヘッドライトhdがほとんど映り込まず、車両VCの窓ガラスcg部分(例えば窓ガラスcg越しの運転者の顔を含む)と車両VCのナンバープレートNpとの両方が映り込む。
実施の形態2の変形例5に係るカメラ装置5では、バンドパスフィルタ41は、車両VCから照射されるヘッドライトhdの波長帯域のうち、照明用LED21から照射されるIR光の波長帯域とほぼ同一の波長帯域を除いた波長帯域の光を遮断する。これにより、カメラ装置5は、例えば夜間等の暗い時間帯に、車両VCのナンバープレートNpを撮像する際でも、高い照射強度を有するヘッドライトhdによる悪影響(つまり、ナンバープレートNpが明るくなり過ぎて不鮮明な画像となる現象)を無くすことができ、車両VCの窓ガラスcg部分(例えば窓ガラスcg越しの運転者の顔を含む)と車両VCのナンバープレートNpとの両方を含む画像を撮像できる。
以上により、実施の形態2に係るカメラ装置5は、車両VCに乗車している人物の顔と車両VCのナンバープレートNpとを含む被写体からの光を結像するレンズLZを含むレンズブロック50を有する。カメラ装置5は、レンズLZにより結像された被写体からの光に基づいて撮像処理を実行する撮像素子12を有する。カメラ装置5は、撮像処理により生成された被写体の撮像画像に基づいて、同一の車両VCに対応する車両VCに乗車している人物の顔画像とその車両VCのナンバープレート画像とを生成するプロセッサ10を有する。プロセッサ10は、被写体からの光に基づく撮像時に複数の撮像条件を用いて撮像素子12に撮像処理を実行させる。
これにより、カメラ装置5は、車両に乗車している運転者hm1の顔ならびにその車両のナンバープレートNpを含む車両VCの撮像画像から運転者hm1の顔およびナンバープレートNpのそれぞれの高画質な画像を生成でき、車両内の運転者hm1と車両のナンバープレートとの対応関係を示すデータの構築を支援することができる。
また、プロセッサ10は、第1撮像条件の撮像処理により生成された被写体の撮像画像から顔画像を抽出し、第2撮像条件の撮像処理により生成された被写体の撮像画像からナンバープレート画像を抽出する。これにより、カメラ装置5は、顔画像の撮像に適した長めの露光時間の設定された状態で得られた鮮明な顔画像と、光沢性があるために反射し易いナンバープレートNpの撮像に適した短めの露光時間の設定された状態で得られたナンバープレート画像との両方を生成できる。
また、第1撮像条件は撮像素子での露光時間が所定値より長く、第2撮像条件は撮像素子での露光時間が短い。これにより、カメラ装置5は、運転者hm1の顔が明るい顔画像を撮像でき、ナンバープレートが白飛びしない程度の明るさを有したナンバープレート画像を撮像できる。
また、カメラ装置5は、外部装置との間でデータ通信を行う通信部19を更に有する。プロセッサ10は、同一の車両VCに対応する顔画像とナンバープレート画像とを、通信部19を介して外部装置に記録させる。例えば、サーバ80は、画像解析を行って顔画像を認識し、運転者hm1の顔画像が予め登録されている顔画像と一致するか否かを判別する。また、サーバ80は、画像解析を行い、ナンバープレートNpの画像からナンバーを判読し、予め登録されているナンバーと一致するか否かを判別する。これにより、サーバ80は、運転者hm1とナンバープレートNpとの対応関係を得ることができる。
また、プロセッサ10は、撮像素子12での露光時間が長い第1撮像条件を用いて得られた第1撮像画像と、撮像素子12での露光時間が短い第2撮像条件を用いた得られた第2撮像画像とを時分割に取得する。プロセッサ10は、第1撮像画像から抽出した顔画像と第2撮像画像から抽出したナンバープレート画像とを合成して、同一の車両VCに対応する顔画像とナンバープレート画像との合成画像を生成する。これにより、カメラ装置5は、長時間露光撮影による顔画像と短時間露光撮影によるナンバープレート画像とを合成することで、窓ガラスcg越しの運転者hm1の顔が鮮明に撮像され、かつ、ナンバープレートのナンバーが判読可能に撮像された撮像映像を得ることができる。
また、車両VCに乗車している人物が映る撮像素子12の第1領域の撮像面は、感度の高い画素で構成される。車両VCのナンバープレートNpが映る撮像素子12の第2領域の撮像面は、感度の低い画素で構成される。これにより、カメラ装置5は、窓ガラス越しの運転者の顔を明るく撮像でき、ナンバープレートNpを、明るさを抑えて撮像できる。従って、鮮明な運転者hm1の顔画像およびナンバーが判読可能なナンバープレート画像を得ることができる。
また、プロセッサ10は、被写体の撮像画像に基づいて、車両VCのフロントガラスを検出し、検出された撮像画像中のフロントガラスの感度を所定値より上げる。これにより、カメラ装置5は、窓ガラスcg部分を囲む矩形枠wk内の画素の感度を上げることで、窓ガラス越しの運転者の顔を明るく撮像でき、また、ナンバープレートを明るさを抑えて撮像できる。
また、カメラ装置5は、日中モードまたは夜間モードを検知する照度センサ13を更に有する。カメラ装置5は、夜間モード中に被写体にIR光を照射する照明部(照明用LED21)を更に有する。カメラ装置5は、回転可能に支持され、撮像素子12に受光される被写体からの光を制限する偏光フィルタ42と、IR光を通過させるバンドパスフィルタ41と、を切り替え可能に支持するフィルタユニット(前面フィルタ切替モジュール40)を更に有する。プロセッサ10は、日中モード中には、偏光フィルタ42を撮像素子12の前面側に配置させ、偏光フィルタを通過した被写体からの光に基づく撮像画像を用いて、車両VCの車種を判定し、判定された車種に応じて、車種に対応する回転角(つまり偏光角θpl)の分だけ偏光フィルタ42を回転させる。これにより、カメラ装置5は、車両VC内の運転者の顔を撮像する際、その車両VCが走行する道路の車線や車種が異なっても、窓ガラスcgからの反射光をできるだけ入射しないように遮蔽できる。従って、撮像素子12によって撮像される、運転者の顔画像が鮮明になる。このように、カメラ装置5は、車両VCの車種に合わせて車両内の人物の顔を撮像する時の害光の影響を適応的に低減できるので、撮像画像の画質の劣化を抑制することができる。
また、レンズブロック50は、IRカットフィルタの使用の有無を切り替え可能に支持する。プロセッサ10は、日中モード中には、IRカットフィルタを撮像素子12の前面側に配置させる。これにより、カメラ装置5は、日中に車両内の運転者の顔を撮像する場合、IRカットフィルタを光軸上に配置するので、IR光を遮断でき、撮像素子12によって鮮明なRGB画像を得ることができる。
また、プロセッサ10は、夜間モード中には、バンドパスフィルタ41を撮像素子12の前面側に配置させ、照明部(照明用LED21)から照射されたIR光に対してバンドパスフィルタ41を通過した被写体からの光に基づく撮像画像を用いて、同一の車両VCに対応する車両VCに乗車している人物の顔画像とその車両VCのナンバープレート画像とを生成する。これにより、カメラ装置5は、例えば夜間等の暗い時間帯に、車両VCのナンバープレートNpを撮像する際でも、高い照射強度を有するヘッドライトhdによる悪影響(つまり、ナンバープレートNpが明るくなり過ぎて不鮮明な画像となる現象)を無くすことができ、車両VCの窓ガラスcg部分(例えば窓ガラスcg越しの運転者の顔を含む)と車両VCのナンバープレートNpとの両方を含む画像を撮像できる。
また、バンドパスフィルタ41は、車両VCから照射されるヘッドライトの波長帯域を有する光を遮断する。これにより、カメラ装置5は、夜間でも窓ガラス(例えば車両のフロントガラス)越しに映る、IR光で照らされた車両内の運転者の顔を適応的に明るく撮像できる。
また、照明部(照明用LED21)は、人物hm1の顔へのIR光の照射強度を所定の照射基準強度より高く、ナンバープレートNpへのIR光の照射強度を所定の照射基準強度より低い照度分布を有するIR光を照射する。これにより、カメラ装置5は、窓ガラスcg越しの運転者hm1の顔とナンバープレートNpの両方を撮像する場合、窓ガラスcg越しの運転者hm1の顔を明るく撮像できるとともに、明るく撮像され易いナンバープレートNpを、明るさを抑えて撮像できる。従って、撮像画像に含まれる運転者の顔画像が鮮明になり、また、ナンバープレートのナンバーが判読可能となる。
また、カメラ装置5は、カメラ装置5から車両VCまでの距離を計測可能な距離センサ26を更に有する。プロセッサ10は、距離センサ26の計測結果に基づいて、カメラ装置5から所定の第1距離に車両VCが位置する時にナンバープレートNpの撮像処理を撮像素子12に実行させ、カメラ装置5から所定の第2距離に車両VCが位置する時に人物の顔の撮像処理を撮像素子12に実行させる。これにより、カメラ装置5は、例えば2回の撮像動作によって得られる2フレーム分の映像から、鮮明な運転者の顔画像およびナンバーが判読可能なナンバープレート画像を得ることができる。従って、運転者の顔とナンバープレートの対応付けが容易に行える。
また、カメラ装置5は、サーバ80あるいはレコーダ90等の外部装置との間でデータ通信を行う通信部19を更に有する。プロセッサ10は、同一の車両VCに対応する顔画像とナンバープレート画像とを、外部装置に顔画像とナンバープレート画像に対する画像処理を行わせるように通信部19を介して外部装置に送信する。これにより、カメラ装置5は、顔画像とナンバープレート画像とが対応付けられた撮像画像のデータを外部のレコーダ90に蓄積させることが可能である。また、カメラ装置5は、外部のサーバ80に撮像画像の画像解析あるいは合成処理を要求することで、カメラ装置5の処理負荷を軽減できる。
以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
本開示は、車両に乗車している人物の顔ならびにその車両のナンバープレートを含む被写体の撮像画像から人物の顔およびナンバープレートのそれぞれの高画質な画像を生成し、車両内の人物と車両のナンバープレートとの対応関係を示すデータの構築を支援する撮像装置として有用である。
3 撮像システム
5 カメラ装置
10 プロセッサ
12 撮像素子
13 照度センサ
14 照明ドライバ
15 レンズドライバ
16 前面フィルタ切替ドライバ
17 レンズ内フィルタ切替ドライバ
18 偏光フィルタ旋回ドライバ
19 通信部
21 照明用LED
26 距離センサ
40 前面フィルタ切替モジュール
41 バンドパスフィルタ
42 偏光フィルタ
50 レンズブロック
60 レンズ内フィルタ切替モジュール
LZ レンズ

Claims (14)

  1. 車両に乗車している人物の顔と前記車両のナンバープレートとを含む被写体からの光を結像するレンズを含むレンズブロックと、
    前記レンズにより結像された前記被写体からの光に基づいて撮像処理を実行する撮像素子と、
    前記撮像処理により生成された前記被写体の撮像画像に基づいて、同一の車両に対応する前記車両に乗車している人物の顔画像とその車両のナンバープレート画像とを生成するプロセッサと、を備え、
    前記プロセッサは、前記被写体からの光に基づく撮像時に複数の撮像条件を用いて前記撮像素子に前記撮像処理を実行させる、
    撮像装置。
  2. 前記プロセッサは、第1撮像条件の撮像処理により生成された前記被写体の撮像画像から前記顔画像を抽出し、第2撮像条件の撮像処理により生成された前記被写体の撮像画像から前記ナンバープレート画像を抽出する、
    請求項1に記載の撮像装置。
  3. 前記第1撮像条件は前記撮像素子での露光時間が所定値より長く、
    前記第2撮像条件は前記撮像素子での露光時間が前記所定値より短い、
    請求項2に記載の撮像装置。
  4. 外部装置との間でデータ通信を行う通信部、を更に備え、
    前記プロセッサは、前記同一の車両に対応する前記顔画像と前記ナンバープレート画像とを、前記通信部を介して前記外部装置に記録させる、
    請求項1に記載の撮像装置。
  5. 前記プロセッサは、前記撮像素子での露光時間が長い第1撮像条件を用いて得られた第1撮像画像と、前記撮像素子での露光時間が短い第2撮像条件を用いた得られた第2撮像画像とを時分割に取得し、前記第1撮像画像から抽出した前記顔画像と前記第2撮像画像から抽出した前記ナンバープレート画像とを合成して、同一の車両に対応する前記顔画像と前記ナンバープレート画像との合成画像を生成する、
    請求項1に記載の撮像装置。
  6. 前記車両に乗車している人物が映る前記撮像素子の第1領域の撮像面は、感度の高い画素で構成され、
    前記車両のナンバープレートが映る前記撮像素子の第2領域の撮像面は、感度の低い画素で構成される、
    請求項1に記載の撮像装置。
  7. 前記プロセッサは、前記被写体の撮像画像に基づいて、前記車両のフロントガラスを検出し、検出された前記撮像画像中の前記フロントガラスの感度を所定値より上げる、
    請求項1に記載の撮像装置。
  8. 日中モードまたは夜間モードを検知するセンサと、
    前記夜間モード中に前記被写体にIR光を照射する照明部と、
    回転可能に支持され前記撮像素子に受光される前記被写体からの光を制限する偏光フィルタと、前記IR光を通過させるバンドパスフィルタと、を切り替え可能に支持するフィルタユニットと、を更に備え、
    前記プロセッサは、前記日中モード中には、前記偏光フィルタを前記撮像素子の前面側に配置させ、前記偏光フィルタを通過した前記被写体からの光に基づく撮像画像を用いて、前記車両の車種を判定し、判定された前記車種に応じて、前記車種に対応する回転角の分だけ前記偏光フィルタを回転させる、
    請求項1に記載の撮像装置。
  9. 前記レンズブロックは、IRカットフィルタの使用の有無を切り替え可能に支持し、
    前記プロセッサは、前記日中モード中には、前記IRカットフィルタを前記撮像素子の前面側に配置させる、
    請求項8に記載の撮像装置。
  10. 前記プロセッサは、前記夜間モード中には、前記バンドパスフィルタを前記撮像素子の前面側に配置させ、前記照明部から照射された前記IR光に対して前記バンドパスフィルタを通過した前記被写体からの光に基づく撮像画像を用いて、同一の車両に対応する前記車両に乗車している人物の顔画像とその車両のナンバープレート画像とを生成する、
    請求項8に記載の撮像装置。
  11. 前記バンドパスフィルタは、前記車両から照射されるヘッドライトの波長帯域を有する光を遮断する、
    請求項10に記載の撮像装置。
  12. 前記照明部は、前記人物の顔への前記IR光の照射強度を所定の照射基準強度より高く、前記ナンバープレートへの前記IR光の照射強度を前記所定の照射基準強度より低い照度分布を有する前記IR光を照射する、
    請求項10に記載の撮像装置。
  13. 前記撮像装置から前記車両までの距離を計測可能な距離センサ、を更に備え、
    前記プロセッサは、前記距離センサの計測結果に基づいて、前記撮像装置から所定の第1距離に前記車両が位置する時に前記ナンバープレートの撮像処理を前記撮像素子に実行させ、前記撮像装置から所定の第2距離に前記車両が位置する時に前記人物の顔の撮像処理を前記撮像素子に実行させる、
    請求項10に記載の撮像装置。
  14. 外部装置との間でデータ通信を行う通信部、を更に備え、
    前記プロセッサは、前記同一の車両に対応する前記顔画像と前記ナンバープレート画像とを、前記外部装置に前記顔画像と前記ナンバープレート画像に対する画像処理を行わせるように前記通信部を介して前記外部装置に送信する、
    請求項1に記載の撮像装置。
JP2018185881A 2018-09-28 2018-09-28 撮像装置 Pending JP2020057869A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018185881A JP2020057869A (ja) 2018-09-28 2018-09-28 撮像装置
US16/523,695 US11163977B2 (en) 2018-09-28 2019-07-26 Capturing camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018185881A JP2020057869A (ja) 2018-09-28 2018-09-28 撮像装置

Publications (1)

Publication Number Publication Date
JP2020057869A true JP2020057869A (ja) 2020-04-09

Family

ID=69945530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018185881A Pending JP2020057869A (ja) 2018-09-28 2018-09-28 撮像装置

Country Status (2)

Country Link
US (1) US11163977B2 (ja)
JP (1) JP2020057869A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020056839A (ja) 2018-09-28 2020-04-09 パナソニック株式会社 撮像装置
TWI740316B (zh) * 2019-12-20 2021-09-21 晶睿通訊股份有限公司 日夜模式切換方法及其監控攝影設備
MX2023001144A (es) 2020-12-15 2023-04-14 Selex Es Inc Sistemas y metodos para rastrear una firma electronica.
AU2021106921A4 (en) * 2021-02-26 2021-11-25 Sensen Networks Group Pty Ltd Systems and Methods for vehicle occupant compliance monitoring
CN112837538B (zh) * 2021-03-27 2023-12-22 深圳市迅朗科技有限公司 一种车牌云识别相机及补光方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2027500A (en) * 1998-11-23 2000-06-13 Nestor, Inc. Non-violation event filtering for a traffic light violation detection system
US6690294B1 (en) * 2001-07-10 2004-02-10 William E. Zierden System and method for detecting and identifying traffic law violators and issuing citations
US6970102B2 (en) * 2003-05-05 2005-11-29 Transol Pty Ltd Traffic violation detection, recording and evidence processing system
US7986339B2 (en) * 2003-06-12 2011-07-26 Redflex Traffic Systems Pty Ltd Automated traffic violation monitoring and reporting system with combined video and still-image data
EP1751970A4 (en) * 2004-05-01 2010-04-21 Eliezer Jacob DIGITAL CAMERA WITH NON-UNIFORM IMAGE RESOLUTION
JP2011002718A (ja) 2009-06-19 2011-01-06 Toshiba Corp 画像撮像装置
US11657606B2 (en) * 2010-03-16 2023-05-23 OMNIQ Corp. Dynamic image capture and processing
US8447112B2 (en) * 2010-12-17 2013-05-21 Xerox Corporation Method for automatic license plate recognition using adaptive feature set
US8824797B2 (en) * 2011-10-03 2014-09-02 Xerox Corporation Graph-based segmentation integrating visible and NIR information
AU2012325362B2 (en) * 2011-10-19 2014-08-07 Balu Subramanya Directional speed and distance sensor
US10089537B2 (en) * 2012-05-18 2018-10-02 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
US9141868B2 (en) * 2012-06-26 2015-09-22 Xerox Corporation Contemporaneously reconstructing images captured of a scene illuminated with unstructured and structured illumination sources
US9068390B2 (en) * 2013-01-21 2015-06-30 Magna Electronics Inc. Vehicle hatch control system
KR101350861B1 (ko) * 2013-08-27 2014-01-14 한국씨텍(주) 빛의 파장인식기능을 이용한 감시카메라 시스템의 적외선 엘이디 제어장치 및 방법
US9791766B2 (en) * 2013-12-20 2017-10-17 Ekin Teknoloji Sanayi Ve Ticaret Anonim Sirketi Portable license plate reader, speed sensor and face recognition system
US20150228066A1 (en) * 2014-02-10 2015-08-13 Michael Scot Farb Rear Encroaching Vehicle Monitoring And Alerting System
US20160295089A1 (en) * 2015-03-30 2016-10-06 Ali Farahani Vehicle-based cloud-aware video capture system
CN105306796A (zh) * 2015-10-10 2016-02-03 安霸半导体技术(上海)有限公司 具有定期红外照明和全局快门cmos传感器的夜视设备
US9965696B2 (en) * 2015-12-31 2018-05-08 James Alves Digital camera control system
EP3472799A4 (en) * 2016-06-20 2019-07-03 Visa International Service Association EFFICIENT RESOURCE PROVIDER SYSTEM
CN206551028U (zh) * 2016-11-02 2017-10-13 安娜 一种具有车牌、人脸识别功能的安防机器人
US9953210B1 (en) * 2017-05-30 2018-04-24 Gatekeeper Inc. Apparatus, systems and methods for improved facial detection and recognition in vehicle inspection security systems
EP3674747B1 (en) * 2017-08-22 2023-04-12 Sony Group Corporation Signal processing device, signal processing method, program, moving body, and signal processing system
WO2019060858A1 (en) * 2017-09-22 2019-03-28 Intellisense Systems, Inc. LONG REACH INFRARED IMAGER SYSTEMS AND METHODS
US10691968B2 (en) * 2018-02-08 2020-06-23 Genetec Inc. Systems and methods for locating a retroreflective object in a digital image
CN108710857B (zh) * 2018-05-22 2022-05-17 深圳前海华夏智信数据科技有限公司 基于红外补光的人车识别方法及装置

Also Published As

Publication number Publication date
US11163977B2 (en) 2021-11-02
US20200104566A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
JP2020056839A (ja) 撮像装置
JP2020057869A (ja) 撮像装置
US11601601B2 (en) Optical array for high-quality imaging in harsh environments
US10564267B2 (en) High dynamic range imaging of environment with a high intensity reflecting/transmitting source
US7385680B2 (en) Camera module
CN102271977B (zh) 用于检测车窗的车窗状态的摄像机装置
KR20130086066A (ko) 화상 입력 장치 및 화상 처리 장치
JP6333238B2 (ja) カメラ及び照明を用いたガラス面の雨滴検出
US10725216B2 (en) Onboard camera
KR20150038032A (ko) 스테레오 게이트된 영상 시스템 및 방법
JP2008507449A (ja) パノラマビジョンシステム及び方法
WO2017028652A1 (zh) 一种镜头、摄像机、包裹检测系统和图像处理方法
US11953708B2 (en) Camera device
JP4798945B2 (ja) 撮像装置
JP5815072B2 (ja) 車両用監視装置
WO2020195851A1 (ja) 車載カメラ装置およびその画像歪み補正方法
JP2015194388A (ja) 撮像装置および撮像システム
US11778316B2 (en) Imaging apparatus
Bertozzi et al. Camera-based automotive systems
JP5509872B2 (ja) 画像撮影装置
CN115134480A (zh) 一种摄像头模组、终端设备及成像方法
JP2010060582A (ja) 複合光学系及び光学装置
JP2017182331A (ja) 車番認識装置
DE102013114308A1 (de) Hardwaredesign einer Kamera für dynamischen Rückspiegel

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190731

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191205

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20201224