JP2022025280A - 赤外線撮像装置、及び赤外線撮像システム - Google Patents

赤外線撮像装置、及び赤外線撮像システム Download PDF

Info

Publication number
JP2022025280A
JP2022025280A JP2020128014A JP2020128014A JP2022025280A JP 2022025280 A JP2022025280 A JP 2022025280A JP 2020128014 A JP2020128014 A JP 2020128014A JP 2020128014 A JP2020128014 A JP 2020128014A JP 2022025280 A JP2022025280 A JP 2022025280A
Authority
JP
Japan
Prior art keywords
infrared
image pickup
pickup device
infrared rays
light emitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020128014A
Other languages
English (en)
Other versions
JP7494625B2 (ja
Inventor
栄敏 千葉
Shigetoshi Chiba
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2020128014A priority Critical patent/JP7494625B2/ja
Priority claimed from JP2020128014A external-priority patent/JP7494625B2/ja
Priority to EP20947753.8A priority patent/EP4191998A4/en
Priority to PCT/JP2020/047126 priority patent/WO2022024411A1/ja
Priority to CN202080099339.5A priority patent/CN115398883B/zh
Publication of JP2022025280A publication Critical patent/JP2022025280A/ja
Priority to US17/934,595 priority patent/US20230019442A1/en
Application granted granted Critical
Publication of JP7494625B2 publication Critical patent/JP7494625B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Toxicology (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】複数の赤外線照明が存在する環境下において、赤外線の干渉を回避する。【解決手段】発光部11は、赤外線を照射する。撮像素子122は、入射される赤外線を電気信号に変換して出力する。制御部13は、撮像素子122から出力される電気信号に基づき生成される赤外線画像をもとに、別の赤外線撮像装置から赤外線が照射される発光タイミングを推定し、別の赤外線撮像装置から赤外線が照射されていない期間に、発光部11に赤外線を照射させるように制御する。【選択図】図2

Description

本発明は、赤外線を被写体に照射して、被写体から反射される赤外線を撮像する赤外線撮像装置、及び赤外線撮像システムに関する。
近年、ドライバモニタリングシステム(Driver Monitoring System)を設置している車両が増えてきている。ドライバモニタリングシステムでは、運転者の顔を撮像することにより、運転者の脇見や居眠りを検知して運転者に注意喚起を促すことができる。夜間やトンネル等の周囲が暗い状況下でも運転者の顔を高品質に撮像できるように、赤外線カメラを使用するものが一般的である(例えば、特許文献1参照)。
また、ドライバの顔だけでなく、助手席や後部座席を含む車室全体を監視する車室内モニタリングシステム(In-Cabin Monitoring System)を設置している車両も増えてきている。ドライバモニタリングシステムと、車室内モニタリングシステムのそれぞれが、赤外線照明と赤外線カメラを備える場合において、既にドライバモニタリングシステムが設置されている車両に、車室内モニタリングシステムが後付されると、車室内に2つの赤外線照明が併存することになる。
特開2003-209742号公報
上述の環境下において、2つの赤外線照明が同時に発光すると光が干渉し、撮像された映像の明るさが安定しない。ドライバモニタリングシステムや車室内モニタリングシステムでは、乗員の顔の認識精度が低下するおそれがある。
本実施形態はこうした状況に鑑みてなされたものであり、その目的は、複数の赤外線照明が存在する環境下において、赤外線の干渉を回避する技術を提供することにある。
上記課題を解決するために、本実施形態のある態様の赤外線撮像装置は、赤外線撮像装置であって、赤外線を照射する発光部と、入射される赤外線を電気信号に変換して出力する撮像素子と、前記撮像素子から出力される電気信号に基づき生成される赤外線画像をもとに、別の赤外線撮像装置から赤外線が照射される発光タイミングを推定し、前記別の赤外線撮像装置から赤外線が照射されていない期間に、前記発光部に赤外線を照射させるように制御する制御部と、を備える。
本実施形態の別の態様もまた、赤外線撮像装置である。この装置は、赤外線撮像装置であって、赤外線を照射する発光部と、入射される赤外線を電気信号に変換して出力する撮像素子と、入射される赤外線の照度を計測する照度センサと、前記照度センサの受光パターンをもとに、別の赤外線撮像装置から赤外線が照射される発光タイミングを推定し、前記別の赤外線撮像装置から赤外線が照射されていない期間に、前記発光部に赤外線を照射させるように制御する制御部と、を備える。
本実施形態のさらに別の態様は、赤外線撮像システムである。この赤外線撮像システムは、車室内に設置された第1赤外線撮像装置と第2赤外線撮像装置を備える赤外線撮像システムであって、前記第1赤外線撮像装置は、赤外線を照射する発光部と、入射される赤外線を電気信号に変換して出力する撮像素子と、前記撮像素子から出力される電気信号を基づき生成される赤外線画像をもとに、別の赤外線撮像装置から赤外線が照射される発光タイミングを推定し、前記第2赤外線撮像装置から赤外線が照射されていない期間に、前記発光部に赤外線を照射させるように制御する制御部と、を有する。
本実施形態によれば、複数の赤外線照明が存在する環境下において、赤外線の干渉を回避することができる。
車両内の第1赤外線撮像装置と第2赤外線撮像装置の設置例を示す図である。 実施の形態1に係る第1赤外線撮像装置の構成例を示す図である。 第1赤外線撮像装置の発光部の発光タイミングと撮像部の露光タイミングの制御の基本概念を示す図である。 ローリングシャッタ方式における、第2赤外線撮像装置の発光部の発光タイミングを推定する処理の具体例を示す図である。 グローバルシャッタ方式における、第2赤外線撮像装置の発光部の発光タイミングを推定する処理の具体例を示す図である。 実施の形態2に係る第1赤外線撮像装置の構成例を示す図である。
図1は、車両1内の第1赤外線撮像装置10と第2赤外線撮像装置20の設置例を示す図である。第2赤外線撮像装置20はドライバモニタリングシステムを構成する機器であり、第1赤外線撮像装置10は車室内モニタリングシステムを構成する機器である。
図1では第2赤外線撮像装置20は、ステアリングコラムの上部に、ステアリングホイールの隙間を介して、ドライバの顔と対向するように設置されている。なお、第2赤外線撮像装置20は、ステアリングホイールに組み込んでおいてもよい。第2赤外線撮像装置20を用いたドライバモニタリングシステムは、ドライバの監視に特化したシステムであり、ドライバの顔が画角の中央に写るように、撮像部の向きとパラメータが設定されている。
図1では第1赤外線撮像装置10は、ルームミラーに取り付けられている。なお、第1赤外線撮像装置10は、センタバイザーやセンタコンソール上に設置されてもよい。第1赤外線撮像装置10を用いた車室内モニタリングシステムは、助手席や後部座席を含む車室全体を監視するシステムであり、ドライバの居眠りや脇見に加えて、助手席や後部座席に座っている乗員の数、ドライバを含む乗員全員のシートベルトの着用の有無などを検知することができる。
図2は、実施の形態1に係る第1赤外線撮像装置10の構成例を示す図である。図2に示す第1赤外線撮像装置10は、発光部11、撮像部12、制御部13、記録部14及びスピーカ15を備える。発光部11は、車室内に赤外線を照射するための赤外線照明を含む。赤外線照明として例えば、赤外線LEDを使用することができる。
撮像部12は、赤外線を受光して赤外線画像を生成する。以下、本実施の形態では、発光部11が照射し、撮像部12が撮像する赤外線は近赤外線であるとする。遠赤外線画像と異なり、近赤外線画像を撮影する場合、被写体に近赤外線を照射して、被写体からの反射光を撮像する必要がある。
撮像部12は、レンズ121、撮像素子122を含む。レンズ121は、車室内の所定の領域の光を集光して、撮像素子122に入射させる。撮像素子122は、入射される光を電気信号に変換する。撮像素子122には、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Devices)イメージセンサ等の固体撮像素子が使用される。
撮像素子122は、近赤外線域に感度を有する。撮像素子122の上に、可視光をカットし、赤外線を透過する可視光カットフィルタを設置する。なお、近赤外線域にのみ感度を有する撮像素子を使用する場合、可視光カットフィルタを省略可能である。
本実施の形態では電子式シャッタを採用している。撮像素子122は通常、30Hzまたは60Hzのフレームレートで撮像する。撮像素子122の後段には、信号処理回路(不図示)が設けられる。信号処理回路は、撮像素子122から入力される電気信号に対して、A/D変換、ノイズ除去などの信号処理を施す。信号処理回路からフレーム単位で出力される画像信号は、制御部13に供給される。
制御部13は、画像処理部131、画像認識部132、発光タイミング推定部133、発光制御部134、露光制御部135、記録制御部136、及び警報制御部137を含む。これらの構成要素は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、CPU、ROM、RAM、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、ISP(Image Signal Processor)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、その他のLSIを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。
画像処理部131は、撮像部12から入力される画像信号に対して、階調補正、輪郭補正などの各種の画像処理を施して出力する。
画像認識部132は、辞書データとして、人物が写った多数の画像を学習して生成された人物の識別器、シートベルトが写った多数の画像を学習して生成されたシートベルトの識別器などの各種オブジェクトの識別器を有する。なお、特定の人物を識別するための識別器を有していてもよい。
画像認識部132は、画像処理部131から入力される赤外線画像内において、各種オブジェクトの識別器を用いて各種オブジェクトを探索する。オブジェクトの検出には例えば、Haar-like特徴量、HOG(Histogram of Gradients)特徴量、LBP(Local Binary Patterns)特徴量などを用いることができる。
露光制御部135は、発光タイミング推定部133からの指示に応じて撮像素子122の露光タイミングを制御する。撮像素子122にローリングシャッタ方式が採用されている場合、露光制御部135は、ライン毎に露光タイミングと読み出しタイミングを制御する。撮像素子122にグローバルシャッタ方式が採用されている場合、露光制御部135は、全画素同時に露光タイミングと読み出しタイミングを制御する。撮像素子122にCCDイメージセンサが使用される場合、グローバルシャッタ方式となる。撮像素子122にCMOSイメージセンサが使用される場合、ローリングシャッタ方式が多く採用されているが、近年、グローバルシャッタ方式のCMOSイメージセンサも増えてきている。
発光制御部134は、露光制御部135による撮像素子122の露光タイミングに同期して、発光部11の発光タイミング(本実施の形態では、赤外線LEDの照射タイミング)を制御する。発光部11は、撮像素子122が露光している期間にのみ発光していればよく、撮像素子122が露光していない期間に発光していても消費電力の無駄である。また、本実施の形態のように、隣接する場所に複数の赤外線撮像装置が設置されている場合、赤外線同士の干渉を抑えるために、赤外線の照射を抑制的に運用する必要がある。
発光タイミング推定部133は、発光制御部134と露光制御部135に発光タイミングと露光タイミングをそれぞれ指定する。発光タイミング推定部133の詳細な動作は後述する。
記録部14は、内蔵型または着脱自在な外付け型の不揮発性の記録媒体を備える。内蔵型として、NANDフラッシュメモリ、SSD、HDDなどを使用することができる。外付け型として、フラッシュメモリカード(例えば、SDカード)、光ディスク、磁気テープなどを使用することができる。
記録制御部136は、撮像部12により撮像された画像を、記録部14内の記録媒体に記録させることができる。記録制御部136は、ドライブレコーダのように運転中の動画を記録させることもできるし、画像認識にもとづき所定のイベントが検出された際の静止画を記録させることもできる。イベントの検出として、例えばドライバの居眠りや脇見の検出が挙げられる。
スピーカ15は、運転者または運転者以外の乗員に向けて、警告音、警告メッセージ、または音声案内を出力する。警報制御部137は、画像認識にもとづき所定のイベントが検出された際、検出されたイベントの内容に応じた警告音や音声メッセージをスピーカ15から出力させる。例えば、ドライバの居眠りや脇見が検出された場合、警報制御部137はスピーカ15に警告音を出力させる。また、後部座席に座っている子供が座席から落下した場合、警報制御部137は、スピーカ15に、”後部座席から落下しました。”といった音声メッセージを出力させる。
車室内モニタリングシステムを構成する第1赤外線撮像装置10と、ドライバモニタリングシステムを構成する第2赤外線撮像装置20の基本構成は同じである。両者の間で、撮像部による撮像範囲、発光部による赤外線の照射範囲、画像認識が可能なオブジェクトの種別、及び画像認識に基づき実行されるアプリケーションの種別が異なる。
第1赤外線撮像装置10と第2赤外線撮像装置20を一体化したシステムとして構築する場合、両者の制御部を一つに統合することができる。これに対して、第1赤外線撮像装置10と第2赤外線撮像装置20の設置時期が異なる場合(通常、第1赤外線撮像装置10が後から設置される)や、第1赤外線撮像装置10と第2赤外線撮像装置20の製造メーカが異なる場合、第1赤外線撮像装置10と第2赤外線撮像装置20は連携せずに、それぞれ独立に動作する。
その場合、第1赤外線撮像装置10の発光部から照射される赤外線と、第2赤外線撮像装置20の発光部から照射される赤外線が干渉する可能性がある。両者の赤外線が同時に照射された期間に撮像された赤外線画像では、白とびが発生する確率が高くなる。白とびが発生している赤外線画像では、画像認識の精度が低下し、運転支援機能が有効に働かない可能性がある。実施の形態1に係る第1赤外線撮像装置10には、この赤外線の干渉対策の仕組みが導入されている。
図3は、第1赤外線撮像装置10の発光部11の発光タイミングと撮像部12の露光タイミングの制御の基本概念を示す図である。発光タイミング推定部133は、画像処理部131から入力される赤外線画像をもとに、第2赤外線撮像装置20の発光部から赤外線が照射される発光タイミングを推定する。
例えば、発光タイミング推定部133は、入力される赤外線画像ごとに、全画素の輝度の平均値を算出する。当該平均値が閾値以上のとき、発光タイミング推定部133は、第2赤外線撮像装置20の発光部が点灯している期間に撮像された赤外線画像と判定する。反対に、当該平均値が閾値未満のとき、発光タイミング推定部133は、第2赤外線撮像装置20の発光部が消灯している期間に撮像された赤外線画像と判定する。
発光制御部134及び露光制御部135は、発光タイミング推定部133により推定された、第2赤外線撮像装置20の発光部から赤外線が照射されていない期間に、発光部11に赤外線を照射させ、撮像素子122に露光させるように、発光部11の発光タイミングと撮像素子122の露光タイミングを制御する。
なお図3では、第2赤外線撮像装置20の発光部の消灯期間と、第1赤外線撮像装置10の発光部11の点灯期間が一致する例を示しているが、第1赤外線撮像装置10の発光部11の点灯期間は、第2赤外線撮像装置20の発光部の消灯期間に収まっていればよい。即ち、第2赤外線撮像装置20の発光部の発光パターンと、第1赤外線撮像装置10の発光部11の発光パターンは完全に逆位相になる必要はない。
図4は、ローリングシャッタ方式における、第2赤外線撮像装置20の発光部の発光タイミングを推定する処理の具体例を示す図である。ローリングシャッタ方式を使用したCMOSイメージセンサでは、マトリクス状に配置された複数の画素で構成される撮像領域の一番上の水平ラインから一番下の水平ラインに向けてライン単位で順次、露光され、露光されたライン順に画素情報が順次、読み出される。
ローリングシャッタ方式では、一枚のフレーム画像内において、水平ライン毎に露光タイミングが異なるため、一枚のフレーム画像内において下に行くほど、先頭ラインの画像に対して時間的に遅れた画像となる。したがって、高速に動いている被写体を撮像した場合、被写体が歪んで写る。
ローリングシャッタ方式では、一枚のフレーム画像内においてフリッカの影響を受ける。ローリングシャッタ方式では、フレーム画像内のあるラインを境に、フリッカの影響により明暗が変化することがある。これに対してグローバルシャッタ方式では、光源の点滅に応じて、明るいフレーム画像と暗いフレーム画像が発生することがあるが、一枚のフレーム画像内においては、光源の点滅による明暗差は発生しない。
第2赤外線撮像装置20の発光部の発光タイミングを推定する際、発光制御部134は発光部11を消灯させる。ローリングシャッタ方式の撮像素子122を使用している場合、露光制御部135は、フレーム期間における露光時間を可及的に長く設定し、読み出し時間を可及的に短く設定する。露光時間をフレーム期間と同等に設定することが好ましい。即ち、シャッタスピードをフレーム期間と同等まで遅く設定することが好ましい。
発光タイミング推定部133は、撮像部12により撮像されたフレーム画像内において、明領域と暗領域が切り替わる境界位置(即ち、境界ライン)を特定する。図4に示す例では、発光タイミング推定部133は、第1フレーム画像F1内において、暗領域から明領域に切り替わったラインの露光開始タイミングから、次に明領域から暗領域に切り替わったラインの露光開始タイミングまでの期間を計測する。発光タイミング推定部133は、当該計測した期間を、第2赤外線撮像装置20の発光部の点灯期間と推定する。
発光タイミング推定部133は、第1フレーム画像F1内において、明領域から暗領域に切り替わったラインの露光開始タイミングから、第2フレーム画像F2内において、暗領域から明領域に切り替わったラインの露光開始タイミングまでの期間を計測する。発光タイミング推定部133は、当該計測した期間を、第2赤外線撮像装置20の発光部の消灯期間と推定する。
以上の処理により、発光タイミング推定部133は、第2赤外線撮像装置20の発光部の発光タイミングを推定することができる。この発光タイミングの推定処理は、第1赤外線撮像装置10の起動時に実行される。車両1の走行開始後は、例えば、車両1が一旦停止した期間に実行されてもよいし、定期的に実行されてもよい。
図5は、グローバルシャッタ方式における、第2赤外線撮像装置20の発光部の発光タイミングを推定する処理の具体例を示す図である。第2赤外線撮像装置20の発光部の発光タイミングを推定する際、発光制御部134は発光部11を消灯させる。グローバルシャッタ方式の撮像素子122を使用している場合、露光制御部135は、スキャン用の露光パターンを使用して発光部11の発光タイミングを制御する。
スキャン用の露光パターンは、フレームレートが可変の露光パターンである。図5に示すように、スキャン用の露光パターンは、各フレームの露光時間が一定で、フレーム間の露光間隔が変化する露光パターンである。発光タイミング推定部133は、各フレーム画像が明るい画像であるか暗い画像であるかを特定する。明るい画像であるか暗い画像であるかは、例えば、上述したように画像内の全画素の輝度の平均値と閾値を比較することにより特定することができる。発光タイミング推定部133は、予め作成されたスキャン用の露光パターンと、各フレーム画像の明暗の推移をもとに、第2赤外線撮像装置20の発光部の発光タイミングを推定することができる。
図6は、実施の形態2に係る第1赤外線撮像装置10の構成例を示す図である。図6に示す実施の形態2に係る第1赤外線撮像装置10の構成は、図2に示した実施の形態1に係る第1赤外線撮像装置10の構成に照度センサ16が追加された構成である。照度センサ16は、赤外線検出用の受光素子(例えば、フォトダイオード)を含み、赤外線の照度を計測して発光タイミング推定部133に出力する。
第2赤外線撮像装置20の発光部の発光タイミングを推定する際、発光制御部134は発光部11を消灯させる。実施の形態2では、発光タイミング推定部133は、照度センサ16により計測される赤外線の受光パターンをもとに、第2赤外線撮像装置20の発光部の発光タイミングを推定する。照度センサ16は連続的に受光しているため、第2赤外線撮像装置20の発光部の発光タイミングと、ほぼ同じ受光パターンを出力することができる。
実施の形態2では、第1赤外線撮像装置10の動作中に、第2赤外線撮像装置20の発光部の発光タイミングが変わったことをリアルタイムに検知することができる。発光タイミング推定部133は、照度センサ16の出力から、第1赤外線撮像装置10の発光部11から赤外線が照射されていない期間の受光パターンを抽出して監視する。発光タイミング推定部133は、当該期間の受光パターンが変化したことを検出すると、発光制御部134に発光部11を消灯させる。発光タイミング推定部133は当該環境下において、照度センサ16により計測される赤外線の受光パターンをもとに、第2赤外線撮像装置20の発光部の発光タイミングを推定する。
実施の形態2では、実施の形態1で説明した撮像素子122により撮像された赤外線画像をもとに、第2赤外線撮像装置20の発光部の発光タイミングを推定する機能は基本的に不要である。
なお、照度センサ16により計測される赤外線の受光パターンにもとづく第2赤外線撮像装置20の発光部の発光タイミングの推定処理と、撮像素子122により撮像された赤外線画像にもとづく第2赤外線撮像装置20の発光部の発光タイミングの推定処理を併用してもよい。両者の計測結果が実質的に一致しない場合、撮像素子122または照度センサ16に異常が発生している可能性がある。両者を併用することにより、撮像素子122または照度センサ16の故障検出モードとして使用することができる。
以上説明したように実施の形態1、2によれば、第1赤外線撮像装置10と第2赤外線撮像装置20が同時に赤外線を照射することを防止することができ、赤外線同士の干渉を回避することができる。これにより、第1赤外線撮像装置10及び第2赤外線撮像装置20で撮像される赤外線画像の明るさを安定化させることができ、画像認識の精度が低下することを防止することができる。
また、第1赤外線撮像装置10と第2赤外線撮像装置20間を配線で接続する必要がなく、配線を設置するための追加コストが不要である。また、配線で接続することによる、第1赤外線撮像装置10と第2赤外線撮像装置20の設置位置の自由度が低下することがない。また、配線で接続することによる、車室内の意匠性の低下が発生しない。
また、実施の形態1によれば、照度センサ16が設けられない場合でも、赤外線同士の干渉を回避することができる。また、実施の形態2によれば、照度センサ16を設けることにより、常時、第2赤外線撮像装置20の発光部の発光タイミングを監視することができる。
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
上述した実施の形態1、2では、第1赤外線撮像装置10が第2赤外線撮像装置20の発光部の発光タイミングを推定し、第2赤外線撮像装置20から赤外線が照射されていない期間に、第1赤外線撮像装置10の発光部11から赤外線を照射するように制御する例を説明した。この点、第2赤外線撮像装置20が第1赤外線撮像装置10の発光部11の発光タイミングを推定し、第1赤外線撮像装置10から赤外線が照射されていない期間に、第2赤外線撮像装置20の発光部から赤外線を照射するように制御してもよい。
上述した実施の形態1、2では、第1赤外線撮像装置10及び第2赤外線撮像装置20が車室内に設置される例を説明した。この点、監視カメラとして路上や建物内に設置されてもよい。特に、不審者や侵入者を検知する画像認識機能を有する監視カメラに有効である。
1 車両、 10 第1赤外線撮像装置、 20 第2赤外線撮像装置、 11 発光部、 12 撮像部、 121 レンズ、 122 撮像素子、 13 制御部、 131 画像処理部、 132 画像認識部、 133 発光タイミング推定部、 134 発光制御部、 135 露光制御部、 136 記録制御部、 137 警報制御部、 14 記録部、 15 スピーカ、 16 照度センサ。

Claims (5)

  1. 赤外線撮像装置であって、
    赤外線を照射する発光部と、
    入射される赤外線を電気信号に変換して出力する撮像素子と、
    前記撮像素子から出力される電気信号に基づき生成される赤外線画像をもとに、別の赤外線撮像装置から赤外線が照射される発光タイミングを推定し、前記別の赤外線撮像装置から赤外線が照射されていない期間に、前記発光部に赤外線を照射させるように制御する制御部と、
    を備える赤外線撮像装置。
  2. 前記撮像素子がグローバルシャッタ方式である場合、
    前記制御部は、前記発光部からの赤外線の照射を停止させつつ、フレームレートを可変させながら前記撮像素子により撮像される各赤外線画像が明るい画像であるか暗い画像であるかをもとに、前記別の赤外線撮像装置から赤外線が照射される発光タイミングを推定する、請求項1に記載の赤外線撮像装置。
  3. 前記撮像素子がローリングシャッタ方式である場合、
    前記制御部は、前記発光部からの赤外線の照射を停止させつつ、前記撮像素子により撮像される各赤外線画像の明領域と暗領域の境界位置をもとに、前記別の赤外線撮像装置から赤外線が照射される発光タイミングを推定する、請求項1に記載の赤外線撮像装置。
  4. 赤外線撮像装置であって、
    赤外線を照射する発光部と、
    入射される赤外線を電気信号に変換して出力する撮像素子と、
    入射される赤外線の照度を計測する照度センサと、
    前記照度センサの受光パターンをもとに、別の赤外線撮像装置から赤外線が照射される発光タイミングを推定し、前記別の赤外線撮像装置から赤外線が照射されていない期間に、前記発光部に赤外線を照射させるように制御する制御部と、
    を備える赤外線撮像装置。
  5. 車室内に設置された第1赤外線撮像装置と第2赤外線撮像装置を備える赤外線撮像システムであって、
    前記第1赤外線撮像装置は、
    赤外線を照射する発光部と、
    入射される赤外線を電気信号に変換して出力する撮像素子と、
    前記撮像素子から出力される電気信号を基づき生成される赤外線画像をもとに、別の赤外線撮像装置から赤外線が照射される発光タイミングを推定し、前記第2赤外線撮像装置から赤外線が照射されていない期間に、前記発光部に赤外線を照射させるように制御する制御部と、
    を有する、赤外線撮像システム。
JP2020128014A 2020-07-29 2020-07-29 赤外線撮像装置 Active JP7494625B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020128014A JP7494625B2 (ja) 2020-07-29 赤外線撮像装置
EP20947753.8A EP4191998A4 (en) 2020-07-29 2020-12-17 INFRARED IMAGE CAPTURE DEVICE AND INFRARED IMAGE CAPTURE SYSTEM
PCT/JP2020/047126 WO2022024411A1 (ja) 2020-07-29 2020-12-17 赤外線撮像装置、及び赤外線撮像システム
CN202080099339.5A CN115398883B (zh) 2020-07-29 2020-12-17 红外线拍摄装置以及红外线拍摄系统
US17/934,595 US20230019442A1 (en) 2020-07-29 2022-09-23 Infrared imaging device and infrared imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020128014A JP7494625B2 (ja) 2020-07-29 赤外線撮像装置

Publications (2)

Publication Number Publication Date
JP2022025280A true JP2022025280A (ja) 2022-02-10
JP7494625B2 JP7494625B2 (ja) 2024-06-04

Family

ID=

Also Published As

Publication number Publication date
US20230019442A1 (en) 2023-01-19
CN115398883B (zh) 2024-01-09
EP4191998A4 (en) 2024-01-03
WO2022024411A1 (ja) 2022-02-03
EP4191998A1 (en) 2023-06-07
CN115398883A (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
JP4738778B2 (ja) 画像処理装置、運転支援装置および運転支援システム
JP4218670B2 (ja) 前方撮影装置
RU2453884C1 (ru) Устройство для формирования изображения водителя и способ формирования изображения водителя
JP5437855B2 (ja) 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
JP5233322B2 (ja) 情報処理装置および方法、並びに、プログラム
JP5629521B2 (ja) 障害物検知システム及び方法、障害物検知装置
JP5638139B2 (ja) 乗員検知装置
WO2014054199A1 (ja) 状態監視装置
JPWO2010050012A1 (ja) 車載用カメラモジュール
JP2006248363A (ja) 運転者照明装置、運転者撮影装置および運転者監視装置
US11710291B2 (en) Image recognition device and image recognition method
JP7331483B2 (ja) 撮像制御装置
JP5368771B2 (ja) 乗員監視装置
JP4397415B2 (ja) 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム
WO2022024411A1 (ja) 赤外線撮像装置、及び赤外線撮像システム
JP2007251555A (ja) 診断装置および方法、プログラム、並びに、記録媒体
JP7494625B2 (ja) 赤外線撮像装置
US7791670B2 (en) Method of operation for a vision-based occupant sensing system
JP7262043B2 (ja) 異常検出システム、移動体、異常検出方法、及びプログラム
JP2022025343A (ja) 赤外線撮像システム、赤外線撮像方法、及び赤外線照射装置
JP2008166926A (ja) 逆光判定装置、及び被写体撮像方法
JP2009126391A (ja) 車載撮像装置
JP2024033906A (ja) モニタリング装置およびモニタリング方法
WO2023032029A1 (ja) 遮蔽判定装置、乗員監視装置及び遮蔽判定方法
JP3929420B2 (ja) 車両用光量検出装置及び車両用照明制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240409

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240506