JP2018142895A - 動体監視装置、サーバ装置、および動体監視システム - Google Patents

動体監視装置、サーバ装置、および動体監視システム Download PDF

Info

Publication number
JP2018142895A
JP2018142895A JP2017036882A JP2017036882A JP2018142895A JP 2018142895 A JP2018142895 A JP 2018142895A JP 2017036882 A JP2017036882 A JP 2017036882A JP 2017036882 A JP2017036882 A JP 2017036882A JP 2018142895 A JP2018142895 A JP 2018142895A
Authority
JP
Japan
Prior art keywords
color
image
monochrome
unit
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017036882A
Other languages
English (en)
Other versions
JP6341396B1 (ja
Inventor
章吾 田中
Shogo Tanaka
章吾 田中
田部井　憲治
Kenji Tabei
憲治 田部井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017036882A priority Critical patent/JP6341396B1/ja
Priority to US16/486,353 priority patent/US10825158B2/en
Priority to PCT/JP2018/001107 priority patent/WO2018159121A1/ja
Application granted granted Critical
Publication of JP6341396B1 publication Critical patent/JP6341396B1/ja
Publication of JP2018142895A publication Critical patent/JP2018142895A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/465—Conversion of monochrome to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力できるようにする。
【解決手段】環境光で撮影するカラーカメラ１１と、赤外光で撮影するモノクロカメラ１２と、カラーカメラから出力されるカラー画像の信号、およびモノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部２１と、環境光が十分にある状態で撮影されたカラー画像およびモノクロ画像から生成された位置合わせ情報を記憶する記憶部１６と、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像に写る被写体の位置を一致させる位置合わせを、位置合わせ情報に基づいて行う位置合わせ部２４と、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けする色変換を行う画像合成部２５と、を備えたものとする。
【選択図】図３

Description

本発明は、監視対象となる動体が出現する監視エリアを撮影した画像を出力する動体監視装置、動体監視装置において監視エリアを撮影したカラー画像およびモノクロ画像を、動体監視装置からネットワークを介して受信するサーバ装置、および監視エリアを撮影した画像を動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムに関するものである。
監視エリアを撮影するカメラを設置して、監視対象となる人物などの動体の状況を監視する監視システムが広く普及している。このような監視システムでは、夜間でも監視を継続できるように、被写体に赤外光を照射して被写体を撮影するカメラを用いる場合がある。
このような赤外光による撮影では、鮮明な画像を得ることができる反面、モノクロ画像となるため、被写体を識別しにくいといった問題がある。このため、夜間に撮影された画像でも、被写体の識別性を向上させることができる技術が望まれる。
このような要望に対して、従来、可視光により被写体をカラーで撮影するとともに、赤外光により被写体をモノクロで撮影して、可視光による撮影画像を背景画像として、この背景画像上に、赤外光による撮影画像から切り出された人物の画像を重ね合わせる技術が知られている（特許文献１参照）。
特開２００９−０１０６７５号公報
しかしながら、この従来技術では、夜間に撮影された画像の視認性を全体的に向上させることはできるが、肝心な動体の色再現は考慮されていない。すなわち、動体の画像が赤外光による撮影画像から切り出されたものであるため、動体の色を判別できない。特に、赤外光による撮影画像では、輝度が反転した状態で写り、例えば人物の青色の服が白色に写ることから、監視対象となる動体の誤認が発生する。このため、動体の監視の用途では全く使用に耐えないものであった。
そこで、本発明は、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる動体監視装置、サーバ装置、および動体監視システムを提供することを主な目的とする。
本発明の動体監視装置は、監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を合成して合成画像を出力する動体監視装置であって、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、を備えた構成とする。
また、本発明のサーバ装置は、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介して受信するサーバ装置であって、前記動体監視装置において、環境光により前記監視エリアを撮影するカラーカメラにより撮影されたカラー画像、および赤外光により前記監視エリアを撮影するモノクロカメラにより撮影されたモノクロ画像を受信する通信部と、環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、を備えた構成とする。
また、本発明の動体監視システムは、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムであって、前記動体監視装置は、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、この画像合成部で取得した合成画像を前記サーバ装置に送信する通信部と、を備えた構成とする。
本発明によれば、昼間のように環境光が十分にある状態で撮像されたカラー画像およびモノクロ画像から生成された位置合わせ情報に基づいて、夜間のように環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像の位置合わせを行うため、位置合わせを精度よく行うことができる。そして、精度よく位置合わせされたカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けすることで、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
本実施形態に係る動体監視システムの全体構成図 カメラ装置１による撮影状況を示す説明図 カメラ装置１の概略構成を示すブロック図 信号処理部２１の概略構成を示す機能ブロック図 解像度変換部５４で行われる解像度変換の要領を示す説明図 解像度変換前後のヒストグラムを示す説明図 信号処理制御部５３で設定される処理モードを示す説明図 信号処理制御部５３で行われる処理の手順を示すフロー図 階調色調補正部５５で行われるホワイトバランス補正の手順を示すフロー図 階調色調補正部５５で行われる階調補正の状況を示す説明図 位置合わせ情報生成部２３、位置合わせ部２４および画像合成部２５で行われる処理に係る要部のブロック図 位置合わせ情報生成部２３、位置合わせ部２４および画像合成部２５で行われる処理の概要を示す説明図 キャリブレーションの処理手順を示すフロー図 画像マッチングの状況を示す説明図 運用時の処理手順を示すフロー図 形状が異なる動体の撮影状況を示す説明図 第２実施形態における運用時の処理手順を示すフロー図 第３実施形態に係るカメラ装置１およびサーバ装置２の概略構成を示す説明図 第４実施形態に係るカメラ装置１およびサーバ装置２の概略構成を示す説明図
前記課題を解決するためになされた第１の発明は、監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を合成して合成画像を出力する動体監視装置であって、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、を備えた構成とする。
これによると、昼間のように環境光が十分にある状態で撮像されたカラー画像およびモノクロ画像から生成された位置合わせ情報に基づいて、夜間のように環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像の位置合わせを行うため、位置合わせを精度よく行うことができる。そして、精度よく位置合わせされたカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けすることで、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
また、第２の発明は、前記記憶部は、形状が異なる動体の種類別に複数の前記位置合わせ情報を記憶し、前記位置合わせ部は、前記モノクロ画像から動体を検出するとともに、その動体の種類を判別して、その動体の種類に応じた前記位置合わせ情報に基づいて、位置合わせを行う構成とする。
これによると、動体の形状に応じて、カラー画像とモノクロ画像との位置合わせを精度よく行うことができる。
また、第３の発明は、さらに、前記位置合わせ情報を生成する位置合わせ情報生成部を備え、前記記憶部は、前記位置合わせ情報生成部で生成した前記位置合わせ情報を、前記信号処理部の処理条件に関する情報とともにキャリブレーション情報として記憶する構成とする。
これによると、装置設置時や運用途中の適宜なタイミングで、位置合わせ情報を生成する処理をキャリブレーションとして実施することで、カラー画像およびモノクロ画像の位置合わせを適切に行うことができる。
また、第４の発明は、前記信号処理部は、前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、を有する構成とする。
これによると、僅かでも環境光がある状況では、各画素の信号値に被写体の実際の色情報が含まれるため、複数の画素の信号値を加算することで、被写体の実際の色が明瞭に現れたカラー画像を出力することができる。また、監視エリアの撮影環境に基づいて解像度変換部の動作を制御するため、撮影環境に関係なく、適切なカラー画像を出力することができる。また、解像度変換により、被写体の実際の色が明瞭に現れたカラー画像が得られ、このカラー画像から、夜間に出現した動体の色情報を精度よく取得することができる。
また、第５の発明は、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介して受信するサーバ装置であって、前記動体監視装置において、環境光により前記監視エリアを撮影するカラーカメラにより撮影されたカラー画像、および赤外光により前記監視エリアを撮影するモノクロカメラにより撮影されたモノクロ画像を受信する通信部と、環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、を備えた構成とする。
これによると、第１の発明と同様に、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
また、第６の発明は、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムであって、前記動体監視装置は、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、この画像合成部で取得した合成画像を前記サーバ装置に送信する通信部と、を備えた構成とする。
これによると、第１の発明と同様に、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
また、第７の発明は、前記サーバ装置は、前記位置合わせ情報を生成する位置合わせ情報生成部と、前記位置合わせ情報を前記動体監視装置に送信する通信部と、を備え、前記動体監視装置は、前記サーバ装置から受信した前記位置合わせ情報にしたがって前記記憶部の更新処理を行う構成とする。
これによると、動体監視装置で用いられる位置合わせ情報の更新を、ユーザが遠隔操作で行うことができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
（第１実施形態）
図１は、第１実施形態に係る動体監視システムの全体構成図である。
動体監視システムは、カメラ装置１（動体監視装置）と、サーバ装置２（画像蓄積装置）と、閲覧装置３と、を備えている。カメラ装置１とサーバ装置２と閲覧装置３とはネットワークを介して接続されている。
カメラ装置１は、施設や道路などに設定された監視エリアを撮影し、監視エリアに存在する人物などの動体が写る撮影画像を出力する。サーバ装置２は、カメラ装置１から取得した撮影画像を蓄積する。閲覧装置３は、ＰＣやタブレット端末やスマートフォンなどであり、サーバ装置２にアクセスすることで、サーバ装置２に蓄積された撮影画像をユーザが閲覧することができる。
次に、カメラ装置１について説明する。図２は、カメラ装置１による撮影状況を示す説明図である。
カメラ装置１は、カラーカメラ１１と、モノクロカメラ１２と、を備えている。このカラーカメラ１１およびモノクロカメラ１２により、監視エリアに存在する被写体、すなわち、人物などの動体、建物、施設の敷地、道路などが撮影される。
カラーカメラ１１は、赤外光カットフィルタを備え、可視光により被写体をカラーで撮影して、カラー画像を出力する。モノクロカメラ１２は、可視光カットフィルタを備え、赤外光により被写体をモノクロで撮影して、モノクロ画像を出力する。なお、モノクロカメラ１２で撮影する際には、赤外光投光器１３（図３参照）により被写体に近赤外光が照射される。
ここで、夜間や、日の入りまたは日の出の時間帯で、環境光が十分にない状態において、カラーカメラ１１による撮影を行うと、撮影されたカラー画像では、被写体となる動体や背景が暗く写り、特に動体の色、例えば人物の服の色や車体の色を判別しにくいという問題がある。また、モノクロカメラ１２により近赤外光により撮影したモノクロ画像では、輝度が反転した状態で写り、例えば人物の青色の服が白色に写るというという問題がある。このため、動体の誤認が発生する。
そこで、本実施形態では、カラーカメラ１１から出力されるカラー画像の信号に対して信号処理を行うことで、環境光が十分にない状態で撮影された場合でも、被写体の実際の色が明瞭に現れた高画質なカラー画像を生成することができるようにしている。
さらに、本実施形態では、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像を合成する画像合成を行うようにしている。この画像合成では、カラー画像から色情報を取得し、その色情報を用いてモノクロ画像に色付けする処理が行われる。本実施形態では、近赤外光による撮影により、高精細なモノクロ画像が得られ、このモノクロ画像に、カラー画像から取得した色情報を用いて色付けすることにより、高精細で動体の色を忠実に再現した夜間のカラー画像を生成することができる。
このとき、カラーカメラ１１およびモノクロカメラ１２には視差があり、この視差の影響で、カラー画像およびモノクロ画像に写る被写体の位置がずれるため、カラー画像およびモノクロ画像をそのまま合成すると、背景の色が動体の領域に現れたり、動体の色が背景の領域に現れたりする不具合が発生する。
そこで、本実施形態では、カラー画像とモノクロ画像との間で被写体の位置を一致させる位置合わせの処理を行うようにしている。
なお、図２では、屋外を監視エリアとした例を示しているが、屋内を監視エリアとしてもよい。この場合、日照の他に照明器具の点灯・消灯により監視エリアの環境光の明るさが変化する。
次に、カメラ装置１の概略構成について説明する。図３は、カメラ装置１の概略構成を示すブロック図である。
カメラ装置１は、カラーカメラ１１およびモノクロカメラ１２の他に、赤外光投光器１３と、通信部１４と、制御部１５と、記憶部１６と、を備えている。
赤外光投光器１３は、モノクロカメラ１２で被写体を撮影する際に、被写体に近赤外光を投光する。
通信部１４は、ネットワークを介してサーバ装置２との間で通信を行う。本実施形態では、制御部１５で生成した合成画像をサーバ装置２に送信する。なお、制御部１５で生成した処理済みのカラー画像およびモノクロ画像をサーバ装置２に送信するようにしてもよい。
このとき、設置場所、カメラ属性、撮影時刻、撮影条件などに関する撮影情報を、属性情報として画像に付加して送信する。なお、カメラ属性は、カラーおよびモノクロの別や、カメラ装置１の識別情報（ＭＡＣアドレスなど）などに関するものである。また、撮影条件は、露光時間やゲインなどに関するものである。
なお、モノクロ画像に対して文字認識処理を行って、モノクロ画像内の文字情報を取得して、その文字情報を画像に付加して送信するようにしてもよい。
記憶部１６は、制御部１５で生成したカラー画像、モノクロ画像、および合成画像などを記憶する。また、記憶部１６は、制御部１５で実行されるプログラムを記憶する。また、記憶部１６は、キャリブレーションメモリとして機能し、カラーカメラ１１およびモノクロカメラ１２の撮像条件や、制御部１５で行われるカラー画像およびモノクロ画像の画信号に対する信号処理の処理条件などに関するキャリブレーション情報（各種パラメータの設定値など）を記憶する。
制御部１５は、信号処理部２１と、ＬＥＤ制御部２２と、位置合わせ情報生成部２３と、位置合わせ部２４と、画像合成部２５と、を備えている。この制御部１５は、プロセッサで構成され、制御部１５の各部は、記憶部１６に記憶されたプログラムを実行することで実現される。
信号処理部２１は、カラーカメラ１１およびモノクロカメラ１２からそれぞれ出力される画信号を処理する。
ＬＥＤ制御部２２は、赤外光投光器１３の光源となるＬＥＤを制御する。
次に、信号処理部２１について説明する。図４は、信号処理部２１の概略構成を示す機能ブロック図である。
信号処理部２１は、同期信号生成部３１と、モノクロ信号処理部３２と、カラー信号処理部３３と、を備えている。
同期信号生成部３１は、カラーカメラ１１およびモノクロカメラ１２を同期させる同期信号を生成する。この同期信号により、カラーカメラ１１およびモノクロカメラ１２は同一のタイミングで被写体を撮影することができる。
モノクロ信号処理部３２は、カメラインタフェイス４１と、階調補正部４２と、ガンマ補正４３と、を備えている。
カメラインタフェイス４１では、モノクロカメラ１２から出力されるモノクロ画像の画信号が入力される。
階調補正部４２は、カメラインタフェイス４１に入力されたモノクロ画像の画信号に対して階調補正を行う。
ガンマ補正部５６は、階調補正部４２から出力される画信号に対して、表示装置の特性に応じて画像の階調を最適な特性に補正するガンマ補正を行う。
カラー信号処理部３３は、カメラインタフェイス５１と、信号レベル検出部５２と、信号処理制御部５３と、解像度変換部５４と、階調色調補正部５５と、ガンマ補正部５６と、Ｙ成分生成部５７と、ＵＶ成分生成部５８と、平均化縮小部５９と、を備えている。
カメラインタフェイス５１では、カラーカメラ１１から出力されるカラー画像の画信号が入力される。
信号レベル検出部５２は、カメラインタフェイス５１に入力されたカラー画像の画信号に基づいて、信号レベルを検出する。この信号レベルは、監視エリアの撮影環境である画像全体の明るさ、すなわち、監視エリアの環境光の明るさを表すものであり、輝度の最大値や分布状況（ヒストグラム）に基づいて検出される。
信号処理制御部５３は、信号レベル検出部５２で取得した信号レベルを参照して、解像度変換部５４で行われる解像度変換の度合（縮小率）を設定する。また、信号処理制御部５３は、解像度変換の度合に応じて、平均化縮小部５９で行われる平均化縮小の度合（縮小率）を設定する。なお、解像度変換の度合には、解像度変換部５４の動作を休止して解像度変換を行わない場合も含まれ、また、平均化縮小の度合には、平均化縮小部５９の動作を休止して平均化縮小を行わない場合も含まれる。ここでは、監視エリアの撮影環境として、信号レベル検出部５２で取得した信号レベルに基づいて、解像度変換部５４で行われる解像度変換の度合（縮小率）を設定するようにしたが、信号レベル検出部５２を省略し、日ごとに定められた昼時間、夜時間の設定にしたがい、夜時間の時間帯（１以上）ごとに解像度変換の度合を設定する制御テーブルを保持するようにしてもよい。また、信号レベル検出部５２に代えて、照度センサ等を設け、そのセンサ出力に基づいて、撮影環境を判別するようにしてもよい。
解像度変換部５４は、カメラインタフェイス５１に入力されたカラー画像の画信号に対して、近接する複数の画素の信号値を統合して画素数を削減する解像度変換を行う。
階調色調補正部５５は、解像度変換部５４から出力されるカラー画像の画信号に対して階調補正および色調補正を行う。階調補正としては、例えば、画像を明るくするゲイン調整が行われる。色調補正としては、例えば、環境光の色合いの影響を抑えるホワイトバランス補正が行われる。
ガンマ補正部５６は、階調色調補正部５５から出力される画信号に対して、表示装置の特性に応じて画像の階調を最適な特性に補正するガンマ補正を行う。
Ｙ成分生成部５７は、ガンマ補正部５６から出力される画信号から、Ｙ成分の画信号（輝度信号）を生成する。ＵＶ成分生成部５８は、ガンマ補正部５６から出力される画信号から、Ｕ成分およびＶ成分の画信号（色差信号）を生成する。
平均化縮小部５９は、Ｙ成分生成部５７およびＵＶ成分生成部５８からそれぞれ出力される画信号に対して、所定数の画素の信号値を平均化することにより、カラー画像を所定のサイズに縮小する処理を行う。
次に、解像度変換部５４で行われる解像度変換について説明する。図５は、解像度変換の要領を示す説明図である。図６は、解像度変換前後のヒストグラムを示す説明図である。
カラーカメラ１１の撮影素子では、図５（Ａ）に示すように、Ｒ，Ｂ，Ｇの各色の画素がベイヤーパターンで配列されている。
解像度変換部５４では、図５（Ｂ）に示すように、同一の色の画素を対象にして、近接する所定数の画素の信号値を加算して、その合計値を、図５（Ｃ）に示すように、１つの画素の信号値とする。
図５に示す例では、４×４の合計１６個の画素の信号値を加算している。これにより、撮影感度が１６倍になる。また、解像度が１／１６に低下して、データ量が１／１６に削減される。
なお、図５では、Ｒについて示すが、Ｂ，Ｇについても同様である。
このような解像度変換を行うことにより、図６（Ａ）に示すように、解像度変換前では、信号値が暗い範囲に偏っているのに対して、図６（Ｂ）に示すように、解像度変換後では、信号値が広い範囲に広がった状態になる。
このように本実施形態では、複数の画素の信号値を加算することでカラー画像の画素数を削減する解像度変換が行われる。これにより、街灯や建物の照明などにより、僅かでも環境光がある状況では、各画素の信号値に被写体の実際の色情報が含まれるため、複数の画素の信号値を加算することで、被写体の実際の色が明瞭に現れたカラー画像を出力することができる。特に動体の判別が容易になり、例えば人物の場合には服の色が明瞭に現れ、車両の場合には車体の色を明瞭に現れ、動体の誤認を避けることができる。
ところで、カメラ装置１で生成したカラー画像を、ネットワークを介してサーバ装置２に送信するため、通信負荷を軽減する目的でカラー画像のデータ量を削減することが望まれる。
ここで、ＪＰＥＧなどの圧縮処理を行うことが考えられるが、夜間のように環境光が十分にない状態で撮影されたカラー画像に対して圧縮処理を行うと、昼間のように環境光が十分にある状態で撮影されたカラー画像で生じなかった圧縮ノイズが顕著に表れ、画質が大幅に低下する。
一方、本実施形態では、解像度変換を行うことで、カラー画像の画素数が減少するため、カラー画像のデータ量を削減することができる。また、解像度変換を行ったカラー画像に対してさらに圧縮処理を行うようにしてもよく、この場合、解像度変換を行わないまま圧縮処理を行った場合に比較して、圧縮ノイズを大幅に低減することができる。
次に、信号処理制御部５３で行われる処理について説明する。図７は、信号処理制御部５３で設定される処理モードを示す説明図である。図８は、信号処理制御部５３で行われる処理の手順を示すフロー図である。
信号処理制御部５３では、信号レベル検出部５２で取得した信号レベルを複数のしきい値と比較して、その比較結果に基づいて、解像度変換部５４で行われる解像度変換の度合を段階的に変更する。
図７に示す例では、信号レベルに基づいて、３つの処理モードに場合分けして、解像度変換の度合として、３つのレベル（最小、中間、最大）が設定される。これにより、各画素の信号値が飽和しないように、適切な解像度変換を行うことができる。
第１の処理モードは、昼間の明るい状態である場合に実施されるものである。この第１の処理モードでは、解像度変換のレベルは最小となり、解像度変換の縮小率を１、すなわち、解像度変換を行わない。
第２の処理モードは、日の入りまたは日の出の時間帯で薄暗い状態である場合に実施されるものである。この第２の処理モードでは、解像度変換のレベルは中間となり、解像度変換の縮小率を１／４とする。すなわち、２×２の合計４個の画素の信号値を加算することで、解像度を１／４とする解像度変換を行う。
第３の処理モードは、夜間の暗い状態である場合に実施されるものである。この第３の処理モードでは、解像度変換のレベルは最大となり、解像度変換の縮小率を１／１６とする。すなわち、４×４の合計１６個の画素の信号値を加算することで、解像度を１／１６とする解像度変換を行う。
また、信号処理制御部５３では、解像度変換部５４で行われる解像度変換の度合に関係なく最終的に同一サイズのカラー画像が得られるように、解像度変換の度合に応じて、平均化縮小部５９で行われる平均化縮小の度合を設定する。
すなわち、第１の処理モードで解像度変換の縮小率が１の場合には、平均化縮小のレベルは最大となり、平均化縮小の縮小率を１／１６とする。また、第２の処理モードで解像度変換の縮小率が１／４の場合には、平均化縮小のレベルは中間となり、平均化縮小の縮小率を１／４とする。また、第３の処理モードで解像度変換の縮小率が１／１６の場合には、平均化縮小のレベルは最小となり、平均化縮小の縮小率を１とする。すなわち、平均化縮小を行わない。これにより、全ての処理モードで同様に１／１６に縮小されたカラー画像が得られる。
具体的には、図８に示すように、信号レベル検出部５２で取得した信号レベルＬを２つのしきい値ａ，ｂ（ａ＜ｂ）と比較して、信号レベルＬがしきい値ａ未満であるか否かの判定（ＳＴ１０１）と、信号レベルＬがしきい値ｂ未満であるか否かの判定（ＳＴ１０２）と、を行う。これにより、３つの処理モードに場合分けして、解像度変換および平均化縮小のレベルが決定される。
すなわち、信号レベルＬがしきい値ｂ以上である場合（ＳＴ１０２でＮｏ）、すなわち、昼間の明るい状態である場合には、第１の処理モードとなり、解像度変換のレベルを最小に設定し（ＳＴ１０３）、平均化縮小のレベルを最大に設定する（ＳＴ１０４）。
また、信号レベルＬがしきい値ａ以上で且つしきい値ｂ未満である場合（ＳＴ１０２でＹｅｓ）、すなわち、日の入りまたは日の出の時間帯で薄暗い状態である場合には、第２の処理モードとなり、解像度変換のレベルを中間に設定し（ＳＴ１０５）、平均化縮小のレベルを中間に設定する（ＳＴ１０６）。
また、信号レベルＬがしきい値ａ未満である場合（ＳＴ１０１でＹｅｓ）、すなわち、夜間の暗い状態である場合には、第３の処理モードとなり、解像度変換のレベルを最大に設定し（ＳＴ１０７）、平均化縮小のレベルを最小に設定する（ＳＴ１０８）。
なお、図７および図８に示す例では、信号レベルに応じて３通り（第１〜第３の処理モード）に場合分けするようにしたが、２通り、または４通り以上に場合分けするようにしてもよい。また、解像度変換の縮小率を１，１／４、１／１６としたが、８×８の合計６４個の画素の信号値を加算することで、解像度を１／１６とする解像度変換を行うなど、種々の縮小率の解像度変換が可能である。
次に、階調色調補正部５５で行われるホワイトバランス補正について説明する。図９は、ホワイトバランス補正の手順を示すフロー図である。
階調色調補正部５５では、解像度変換部５４から出力されるカラー画像の画信号に対してホワイトバランス補正が行われる。ホワイトバランス補正では、最も明るい（輝度が高い）領域を白色とみなして、色調を補正する。このため、夜間でライト、例えば街灯や車両のヘッドライトが写る画像では、ライトの領域が最も明るくなるため、この領域を白色とみなして色調を補正する。このとき、ライトの光が白色でない場合、画像の色が全体的にずれる色かぶりが発生する。
そこで、本実施形態では、ライトの領域を除外してホワイトバランス補正を行う。
具体的には、まず、信号レベル検出部５２で取得した信号レベルが所定のしきい値未満であるか否かを判定する（ＳＴ２０１）。このしきい値は、夜間と昼間とを識別するものとなる。
ここで、信号レベルがしきい値未満である場合（ＳＴ２０１でＹｅｓ）、すなわち、夜間である場合には、カラー画像内のライトの領域を検出して、そのライトの領域に含まれる画素を集計対象から除外する（ＳＴ２０２）。
次に、集計対象となる各画素の信号値をＲＧＢの色ごとに合計して、各色の合計値（RSUM、GSUM、BSUM）を算出する（ＳＴ２０３）。そして、各色の合計値に基づく各色のゲインを、各色の入力値（Rin、Gin、Bin）に乗算して、各色の出力値（Rout、Gout、Bout）を算出する（ＳＴ２０４）。このとき、Ｇを基準にした補正が行われる。
一方、信号レベルがしきい値以上である場合（ＳＴ２０１でＮｏ）、すなわち、昼間である場合には、カラー画像内の全ての画素を集計対象として、各色の合計値を算出し（ＳＴ２０３）、各色の出力値を算出する（ＳＴ２０４）。
次に、階調色調補正部５５で行われる階調補正について説明する。図１０は、階調色調補正部５５で行われる階調補正の状況を示す説明図である。
階調色調補正部５５では、解像度変換部５４から出力されるカラー画像の画信号に対してゲインを付加して、カラー画像を明るくする階調補正（ゲイン調整）が行われる。
図１０に示す例は、街灯のライトが写る夜間のカラー画像であり、図１０（Ａ）に示すように、元画像は全体的に暗く被写体が見えにくい。
ここで、元画像の画信号に対して均一に大きなゲインを与えると、図１０（Ｂ）に示すように、画像全体が明るくなり、ライトから離れた領域では被写体が見えやすくなるが、ハレーションが顕著になるため、ライトの近くの領域では被写体が逆に見えにくくなる。
一方、元画像の画信号に対して均一に小さなゲインを与えると、図１０（Ｃ）に示すように、ハレーションは低減するが、画像全体がわずかに明るくなるだけで、被写体が見えにくい状態はあまり改善されない。
そこで、本実施形態では、領域に応じて最適化された階調補正を行う。すなわち、ライトから離れた暗い領域には大きなゲインを与え、ライトの近くの明るい領域では小さいゲインを与える。
これにより、図１０（Ｄ）に示すように、ライトから離れた領域では被写体が見えやすくなり、また、ハレーションが低減するため、ライトの近くの領域でも被写体が見えやすくなる。このように、領域に応じて異なるゲインを与えることで、ハレーションの影響を受けない最適な画像を取得することができる。
次に、位置合わせ情報生成部２３、位置合わせ部２４および画像合成部２５で行われる処理について説明する。図１１は、位置合わせ情報生成部２３、位置合わせ部２４および画像合成部２５で行われる処理に係る要部のブロック図である。図１２は、位置合わせ情報生成部２３、位置合わせ部２４および画像合成部２５で行われる処理の概要を示す説明図である。
図１１に示すように、位置合わせ情報生成部２３は、モノクロ信号処理部３２から出力されるモノクロ画像と、カラー信号処理部３３から出力されるカラー画像とに基づいて、位置合わせ部２４で行われる幾何学的変換（位置合わせ）に用いられる変換行列（位置合わせ情報）を生成する（図１２参照）。本実施形態では、モノクロ画像とカラー画像との間で画像マッチングを行って、モノクロ画像およびカラー画像同士で対応する複数の特徴点を取得し、この特徴点を用いて変換行列を推定する。
この位置合わせ情報生成部２３の処理は、運用前のキャリブレーションとして実施され、昼間のように環境光が十分にある状態で、カラーカメラ１１およびモノクロカメラ１２により同時に撮影されたカラー画像およびモノクロ画像を用いて行われる。
ここで、カラーカメラ１１およびモノクロカメラ１２を別体の単眼カメラとすると、設置条件に応じて、カラーカメラ１１とモノクロカメラ１２との相対的な位置関係が変化する。また、カラーカメラ１１およびモノクロカメラ１２を同一の筐体に収容するなどして、カラーカメラ１１およびモノクロカメラ１２の位置関係が変化しないように構成しても、設置される場所ごとに撮影条件、例えば、カラーカメラ１１およびモノクロカメラ１２から動体が出現する位置までの撮影距離などが異なる。このため、運用前のキャリブレーションとして、カメラ装置１ごとに変換行列（位置合わせ情報）を取得する。
また、夜間のように環境光が十分にない状態で撮影されたカラー画像は、暗くて不鮮明で且つノイズが多く、このようなカラー画像では、モノクロ画像との間での画像マッチングを適切に行うことができない。このため、昼間のように環境光が十分にある状態で撮像されたカラー画像およびモノクロ画像を用いて、変換行列を取得する。
なお、可視光で撮影されたカラー画像と、近赤外光で撮影されたモノクロ画像とでは、輝度勾配が異なる場合があるため、位相相関法などの輝度勾配に対してロバストな手法を用いて画像マッチングを行う。
この位置合わせ情報生成部２３で生成した変換行列は、キャリブレーションデータとして記憶部１６に記憶される。
位置合わせ部２４は、運用時に、位置合わせ情報生成部２３で取得した変換行列（位置合わせ情報）を用いて、カラー信号処理部３３から出力されるカラー画像に対して幾何学的変換、例えば射影変換を実施する（図１２参照）。これにより、カラー画像に現れる被写体の像の位置を、モノクロ画像と一致させることができる。
画像合成部２５は、位置合わせ部２４から出力される位置合わせ済みのカラー画像と、モノクロ信号処理部３２から出力されるモノクロ画像を合成して合成画像を生成する（図１２参照）。この画像合成では、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けを行う色変換が行われる。なお、この画像合成には、公知の画像合成技術を用いればよい。
次に、キャリブレーションについて説明する。図１３は、キャリブレーションの処理手順を示すフロー図である。図１４は、画像マッチングの状況を示す説明図である。
なお、このキャリブレーションは、カメラ装置１の設置時に初期設定として行われる。また、振動や強風などの影響で、カラーカメラ１１とモノクロカメラ１２との相対的な位置関係が変化するため、運用中に定期的に行うようにしてもよい。
図１３に示すように、キャリブレーションでは、位置合わせ情報生成部２３において、まず、昼間に撮影されたカラー画像およびモノクロ画像を取得する（ＳＴ３０１）。
次に、カラー画像とモノクロ画像との間で画像マッチングを行う（ＳＴ３０２）。この画像マッチングでは、モノクロ画像およびカラー画像同士で対応する複数の特徴点を取得する（図１４参照）。
次に、取得した特徴点を用いて、幾何学的変換で用いられる変換行列を推定する（ＳＴ３０３）。具体的には、次式のような変換行列Ｈを求める。なお、ここでは、幾何学的変換として射影変換を行うようにしている。
Ｓ：スケール（拡大、縮小）、θ：回転、Ｔｘ，Ｔｙ：平行移動量
次に、取得した変換行列を用いて、カラー画像に対して幾何学的変換を行う（ＳＴ３０４）。このとき、次式のように、カラー画像の座標（ｘ，ｙ）が座標（ｘ'，ｙ'）に変換される。
なお、この式は、運用時の幾何学的変換でも同様に用いられる。
次に、幾何学的変換が行われたカラー画像とモノクロ画像とを比較して、被写体の位置が一致しているか否かを判定する（ＳＴ３０５）。ここで、被写体の位置が一致している場合には（ＳＴ３０５でＹｅｓ）、取得した変換行列を記憶部１６に記憶する。一方、被写体の位置が一致していない場合には（ＳＴ３０５でＮｏ）、別のカラー画像およびモノクロ画像を取得して、前記の処理を繰り返す。
なお、被写体の位置の判定結果に応じて、ユーザの操作入力により、幾何学的変換のパラメータを微調整することができるようにしてもよい。
次に、運用時の処理について説明する。図１５は、運用時の処理手順を示すフロー図である。
運用時には、まず、位置合わせ部２４において、夜間に撮影されたカラー画像およびモノクロ画像を取得する（ＳＴ４０１）。次に、キャリブレーションで取得した変換行列を用いて、カラー画像に対して幾何学的変換を実施する（ＳＴ４０２）。次に、画像合成部２５において、幾何学的変換が実施されたカラー画像とモノクロ画像とを合成する（ＳＴ４０３）。
（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１６は、形状が異なる動体の撮影状況を示す説明図である。
動体の形状が異なると、カラーカメラ１１およびモノクロカメラから動体の面までの距離が変化する。例えば、図１６（Ａ）に示すように、動体がボンネットのある乗用車である場合と、図１６（Ｂ）に示すように、動体がボンネットのないワンボックスカーである場合とでは、動体が同一の位置にある状態でも、カラーカメラ１１およびモノクロカメラ１２から動体の面までの距離Ｌが異なる。
このように動体の形状に応じて、カラーカメラ１１およびモノクロカメラから動体の面までの距離Ｌが変化すると、カラーカメラ１１およびモノクロカメラ１２間の視差の影響による動体の像のずれ方が変化する。
そこで、本実施形態では、キャリブレーションにおいて、形状が異なる動体の種類ごとに複数の変換行列（位置合わせ情報）を作成しておき、運用時に、動体の種類を判別して、動体の種類に対応する変換行列を用いて、幾何学的変換を実施する。ここで、動体の種類の判別は、高精細なモノクロ画像を用いて行うとよい。
また、動体の種類ごとの変換行列を取得するには、監視エリア、または監視エリアと同一の撮影条件となる適宜な場所に、実際に動体を配置して、その動体をカラーカメラ１１およびモノクロカメラで撮影し、得られたカラー画像およびモノクロ画像に基づいて、変換行列を取得すればよい。また、動体の代わりにマーカーを配置するようにしてもよい。
次に、第２実施形態における運用時の処理手順について説明する。図１７は、運用時の処理手順を示すフロー図である。
運用時には、まず、位置合わせ部２４において、夜間に撮影されたカラー画像およびモノクロ画像を取得する（ＳＴ５０１）。そして、モノクロ画像から動体を検出する（ＳＴ５０２）。
次に、検出された動体の種類を判別して、動体の種類に応じた変換行列を選択する。図１７に示す例では、動体の種類Ａ〜Ｆに該当するか否かの判定を順次行い（ＳＴ５０３〜ＳＴ５０８）、動体の種類Ａ〜Ｆに応じた変換行列を選択する（ＳＴ５０９〜ＳＴ５１４）。いずれにも該当しない場合には、汎用の変換行列を選択する（ＳＴ５１５）。
次に、選択された変換行列を用いて、カラー画像に対して幾何学的変換を実施する（ＳＴ５１６）。次に、画像合成部２５において、幾何学的変換が実施されたカラー画像とモノクロ画像とを合成する（ＳＴ５１７）。
（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１８は、第３実施形態に係るカメラ装置１およびサーバ装置２の概略構成を示す説明図である。
前記の実施形態では、キャリブレーションにおいて、カラー画像およびモノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせ（幾何学的変換）に用いられる位置合わせ情報（変換行列）を生成する処理を、カメラ装置１で行うようにしたが、本実施形態では、位置合わせ情報を生成する処理をサーバ装置２で行うようにしている。
サーバ装置２は、通信部６１と、制御部６２と、記憶部６３と、を備えている。
通信部６１は、ネットワークを介してカメラ装置１との間で通信を行う。本実施形態では、キャリブレーションの際に、位置合わせ情報の生成に用いられるカラー画像およびモノクロ画像に関する画像送信要求をカメラ装置１に送信し、画像送信要求に応じてカメラ装置１から送信されるカラー画像およびモノクロ画像を受信する。また、制御部６２で生成した位置合わせ情報をカメラ装置１に送信する。また、運用時に、カメラ装置１から定期的に送信される合成画像を受信する。
記憶部６３は、通信部６１で受信したカラー画像およびモノクロ画像や、制御部６２で生成した位置合わせ情報などを記憶する。また、記憶部６３は、制御部６２で実行されるプログラムを記憶する。
制御部６２は、画像送信要求部７１と、位置合わせ情報生成部７２と、を備えている。この制御部６２は、プロセッサで構成され、制御部６２の各部は、記憶部６３に記憶されたプログラムを実行することで実現される。
画像送信要求部７１は、カメラ装置１に対して、昼間のように環境光が十分にある状態でカラー画像およびモノクロ画像を同時に撮影して、そのカラー画像およびモノクロ画像を送信するように指示する画像送信要求を通信部６１から送信させる。
位置合わせ情報生成部７２は、画像送信要求に応じてカメラ装置１から送信されるカラー画像およびモノクロ画像を通信部６１で受信すると、そのカラー画像およびモノクロ画像に基づいて、カメラ装置１の位置合わせ部２４で行われる位置合わせ（幾何学的変換）に用いられる位置合わせ情報（変換行列）を生成する。この位置合わせ情報生成部７２で生成した位置合わせ情報は通信部６１からカメラ装置１に送信される。
カメラ装置１は、サーバ装置２から送信される画像送信要求を受信すると、カラー画像およびモノクロ画像を撮影してサーバ装置２に送信する。また、カメラ装置１は、サーバ装置２から送信される位置合わせ情報を受信すると、受信した位置合わせ情報にしたがって記憶部１６の更新処理を行う。
これにより、カメラ装置１で用いられる位置合わせ情報の初期設定および更新を、ユーザが遠隔操作で行うことができる。
なお、本実施形態では、カメラ装置１から送信される画像を蓄積するサーバ装置２で位置合わせ情報を生成するようにしたが、画像を蓄積する装置と、位置合わせ情報を生成する装置と、を別に設けるようにしてもよい。
（第４実施形態）
次に、第４実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１９は、第４実施形態に係るカメラ装置１およびサーバ装置２の概略構成を示す説明図である。
前記の実施形態では、カラー画像とモノクロ画像との間での位置合わせや、カラー画像とモノクロ画像との画像合成を、カメラ装置１で行うようにしたが、本実施形態では、位置合わせや画像合成をサーバ装置２で行うようにしてもよい。
すなわち、サーバ装置２の制御部６２は、位置合わせ部７３と、画像合成部７４と、を備えている。位置合わせ部７３は、位置合わせ情報生成部７２で取得した変換行列（位置合わせ情報）を用いて、カメラ装置１から送信されるカラー画像に対して幾何学的変換を実施する。画像合成部７４は、位置合わせ部７３から出力される位置合わせ済みのカラー画像と、カメラ装置１から送信されるモノクロ画像を合成して合成画像を生成する。この位置合わせ部７３および画像合成部７４で行われる処理は、前記の実施形態におけるカメラ装置１の位置合わせ部２４および画像合成部２５と同様である。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
例えば、前記の実施形態では、監視対象となる動体を主に人物とした例について説明したが、監視対象となる動体は人物に限定されるものではなく、動物や車両などでもよい。
また、前記の実施形態では、環境光の明るさを表す信号レベルに基づいて制御を行うようにしたが、季節や時刻に応じた日照時間の変化により、環境光の明るさが規則的に変化するため、時間情報に基づいて制御することも可能である。ただし、環境光の明るさは天気に応じて変化するため、信号レベルに基づいた制御の方が、精度の高い制御を行うことができる。
また、前記の実施形態では、解像度変換などの種々の画像処理（信号処理）をカメラ装置で行うようにしたが、これらの画像処理の全部あるいは一部をサーバ装置で行うようにしてもよい。もっとも、解像度変換や平均化縮小の処理は、画像のデータ量を削減して通信負荷を軽減するものであるため、カメラ装置で行うことが望ましい。
本発明に係る動体監視装置、サーバ装置、および動体監視システムは、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる効果を有し、監視対象となる動体が出現する監視エリアを撮影した画像を出力する動体監視装置、動体監視装置において監視エリアを撮影したカラー画像およびモノクロ画像を、動体監視装置からネットワークを介して受信するサーバ装置、および監視エリアを撮影した画像を動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムなどとして有用である。
１ カメラ装置（動体監視装置）
２ サーバ装置（画像蓄積装置）
１１ カラーカメラ
１２ モノクロカメラ
１４ 通信部
１５ 制御部
１６ 記憶部
２１ 信号処理部
２３ 位置合わせ情報生成部
２４ 位置合わせ部
２５ 画像合成部
６１ 通信部
６３ 記憶部
７２ 位置合わせ情報生成部
７３ 位置合わせ部
７４ 画像合成部

Claims (7)

  1. 監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を合成して合成画像を出力する動体監視装置であって、
    環境光により前記監視エリアを撮影するカラーカメラと、
    赤外光により前記監視エリアを撮影するモノクロカメラと、
    前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、
    環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、
    環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、
    位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、
    を備えたことを特徴とする動体監視装置。
  2. 前記記憶部は、形状が異なる動体の種類別に複数の前記位置合わせ情報を記憶し、
    前記位置合わせ部は、前記モノクロ画像から動体を検出するとともに、その動体の種類を判別して、その動体の種類に応じた前記位置合わせ情報に基づいて、位置合わせを行うことを特徴とする請求項１に記載の動体監視装置。
  3. さらに、前記位置合わせ情報を生成する位置合わせ情報生成部を備え、
    前記記憶部は、前記位置合わせ情報生成部で生成した前記位置合わせ情報を、前記信号処理部の処理条件に関する情報とともにキャリブレーション情報として記憶することを特徴とする請求項１または請求項２のいずれかに記載の動体監視装置。
  4. 前記信号処理部は、
    前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、
    前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、
    を有することを特徴とする請求項１から請求項３のいずれかに記載の動体監視装置。
  5. 動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介して受信するサーバ装置であって、
    前記動体監視装置において、環境光により前記監視エリアを撮影するカラーカメラにより撮影されたカラー画像、および赤外光により前記監視エリアを撮影するモノクロカメラにより撮影されたモノクロ画像を受信する通信部と、
    環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、
    環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、
    位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、
    を備えたことを特徴とするサーバ装置。
  6. 動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムであって、
    前記動体監視装置は、
    環境光により前記監視エリアを撮影するカラーカメラと、
    赤外光により前記監視エリアを撮影するモノクロカメラと、
    前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、
    環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、
    環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、
    位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、
    この画像合成部で取得した合成画像を前記サーバ装置に送信する通信部と、
    を備えたことを特徴とする動体監視システム。
  7. 前記サーバ装置は、
    前記位置合わせ情報を生成する位置合わせ情報生成部と、
    前記位置合わせ情報を前記動体監視装置に送信する通信部と、
    を備え、
    前記動体監視装置は、前記サーバ装置から受信した前記位置合わせ情報にしたがって前記記憶部の更新処理を行うことを特徴とする請求項６に記載の動体監視システム。
JP2017036882A 2017-02-28 2017-02-28 動体監視装置、サーバ装置、および動体監視システム Active JP6341396B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017036882A JP6341396B1 (ja) 2017-02-28 2017-02-28 動体監視装置、サーバ装置、および動体監視システム
US16/486,353 US10825158B2 (en) 2017-02-28 2018-01-17 Moving object monitoring device, server device, and moving object monitoring system
PCT/JP2018/001107 WO2018159121A1 (ja) 2017-02-28 2018-01-17 動体監視装置、サーバ装置、および動体監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017036882A JP6341396B1 (ja) 2017-02-28 2017-02-28 動体監視装置、サーバ装置、および動体監視システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018086264A Division JP6583839B2 (ja) 2018-04-27 2018-04-27 動体監視装置、サーバ装置、および動体監視システム

Publications (2)

Publication Number Publication Date
JP6341396B1 JP6341396B1 (ja) 2018-06-13
JP2018142895A true JP2018142895A (ja) 2018-09-13

Family

ID=62555853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017036882A Active JP6341396B1 (ja) 2017-02-28 2017-02-28 動体監視装置、サーバ装置、および動体監視システム

Country Status (3)

Country Link
US (1) US10825158B2 (ja)
JP (1) JP6341396B1 (ja)
WO (1) WO2018159121A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210118175A1 (en) * 2018-04-26 2021-04-22 Telefonaktiebolaget Lm Ericsson (Publ) Object Tracking and Detection in Augmented Reality Applications
WO2019225681A1 (ja) * 2018-05-23 2019-11-28 パナソニックＩｐマネジメント株式会社 校正装置および校正方法
US10816979B2 (en) * 2018-08-24 2020-10-27 Baidu Usa Llc Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
JP7412920B2 (ja) * 2019-08-08 2024-01-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11508077B2 (en) * 2020-05-18 2022-11-22 Samsung Electronics Co., Ltd. Method and apparatus with moving object detection
US11620759B2 (en) * 2020-07-24 2023-04-04 Apple Inc. Systems and methods for machine learning enhanced image registration
CN114257707A (zh) * 2020-09-21 2022-03-29 安霸国际有限合伙企业 具有彩色夜间模式的智能ip摄像头
US11430132B1 (en) * 2021-08-19 2022-08-30 Unity Technologies Sf Replacing moving objects with background information in a video scene
JP2023106862A (ja) 2022-01-21 2023-08-02 株式会社リコー 撮像装置、撮像方法、プログラム、および撮像システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286577A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 撮像装置、表示方法、および車両
JP2008233398A (ja) * 2007-03-19 2008-10-02 Honda Motor Co Ltd 表示装置
JP2013247492A (ja) * 2012-05-25 2013-12-09 Konica Minolta Inc 物体検出装置
JP2015103906A (ja) * 2013-11-22 2015-06-04 株式会社リコー 画像処理装置、撮像システム、画像処理方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7834905B2 (en) * 2002-06-18 2010-11-16 Bayerische Motoren Werke Aktiengesellschaft Method and system for visualizing the environment of a vehicle with a distance-dependent merging of an infrared and a visual image
JP2005167497A (ja) 2003-12-01 2005-06-23 Canon Inc 撮像装置、良質画像獲得方法、及びプログラム
JP4872829B2 (ja) 2007-06-28 2012-02-08 ソニー株式会社 撮像装置
JP2012008924A (ja) 2010-06-28 2012-01-12 Mitsubishi Electric Corp ナンバー読取装置
US20140071245A1 (en) * 2012-09-10 2014-03-13 Nvidia Corporation System and method for enhanced stereo imaging
JP6015946B2 (ja) 2013-03-29 2016-10-26 マツダ株式会社 車両用撮像装置
US9443335B2 (en) * 2013-09-18 2016-09-13 Blackberry Limited Using narrow field of view monochrome camera for producing a zoomed image
US9245196B2 (en) 2014-05-09 2016-01-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for tracking people in indoor environments using a visible light camera and a low-frame-rate infrared sensor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286577A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 撮像装置、表示方法、および車両
JP2008233398A (ja) * 2007-03-19 2008-10-02 Honda Motor Co Ltd 表示装置
JP2013247492A (ja) * 2012-05-25 2013-12-09 Konica Minolta Inc 物体検出装置
JP2015103906A (ja) * 2013-11-22 2015-06-04 株式会社リコー 画像処理装置、撮像システム、画像処理方法およびプログラム

Also Published As

Publication number Publication date
US10825158B2 (en) 2020-11-03
US20190385291A1 (en) 2019-12-19
WO2018159121A1 (ja) 2018-09-07
JP6341396B1 (ja) 2018-06-13

Similar Documents

Publication Publication Date Title
JP6341396B1 (ja) 動体監視装置、サーバ装置、および動体監視システム
US8994845B2 (en) System and method of adjusting a camera based on image data
EP2426928B1 (en) Image processing apparatus, image processing method and program
US10325354B2 (en) Depth assisted auto white balance
US8149294B2 (en) Image capturing device which sets color conversion parameters based on an image sensor and separate light sensor
TW201212644A (en) Image processing apparatus, image taking apparatus, image processing method and image processing program
JP6381404B2 (ja) 画像処理装置及び方法、及び撮像装置
JP5804857B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20100321523A1 (en) Method, apparatus, and system for selecting pixels for automatic white balance processing
JP2012054811A (ja) 画像処理装置、画像処理方法及びプログラム
JP2012235377A (ja) 画像処理装置、画像処理方法及びプログラム
CN103369252A (zh) 图像处理装置、图像处理装置的控制方法及图像拍摄装置
US20200228770A1 (en) Lens rolloff assisted auto white balance
JP6583839B2 (ja) 動体監視装置、サーバ装置、および動体監視システム
WO2018146945A1 (ja) 動体監視装置および動体監視システム
JP2020102666A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2003333616A (ja) ホワイトバランス調整方法及び撮像装置及びプログラム及び記憶媒体
JP2019179463A (ja) 画像処理装置、その制御方法、プログラム、記録媒体
JP5854716B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2009055077A (ja) 撮像装置
EP2658245B1 (en) System and method of adjusting camera image data
WO2022032666A1 (zh) 处理图像的方法和相关装置
JP2003309854A (ja) デジタルカメラ
KR101589493B1 (ko) 플래시를 이용한 화이트 밸런스 조정 방법 및 장치, 이를 이용한 디지털 촬영 장치
CA2776009C (en) System and method of adjusting camera image data

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180501

R151 Written notification of patent or utility model registration

Ref document number: 6341396

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151