JP2019118043A - 撮像装置、画像処理装置、制御方法およびプログラム - Google Patents

撮像装置、画像処理装置、制御方法およびプログラム Download PDF

Info

Publication number
JP2019118043A
JP2019118043A JP2017251719A JP2017251719A JP2019118043A JP 2019118043 A JP2019118043 A JP 2019118043A JP 2017251719 A JP2017251719 A JP 2017251719A JP 2017251719 A JP2017251719 A JP 2017251719A JP 2019118043 A JP2019118043 A JP 2019118043A
Authority
JP
Japan
Prior art keywords
image
detection
light imaging
output
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017251719A
Other languages
English (en)
Inventor
理 余西
Osamu Yonishi
理 余西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017251719A priority Critical patent/JP2019118043A/ja
Priority to EP18213574.9A priority patent/EP3506228A1/en
Priority to BR102018076367-9A priority patent/BR102018076367A2/pt
Priority to US16/228,500 priority patent/US20190199898A1/en
Priority to RU2018145742A priority patent/RU2018145742A/ru
Priority to KR1020180170002A priority patent/KR20190079574A/ko
Priority to CN201811612147.0A priority patent/CN109981943A/zh
Publication of JP2019118043A publication Critical patent/JP2019118043A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/12—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by switched stationary formation of lamps, photocells or light relays
    • H04N3/122—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by switched stationary formation of lamps, photocells or light relays using cathode rays, e.g. multivision
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/04—Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H04N7/127—Systems in which different parts of the picture signal frequency band are individually processed, e.g. suppressed, transposed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】 赤外光映像と可視光映像と合成映像のうちの、どれが監視用途に好ましいかは撮影状況によって変化し、ユーザにとって判断することが困難な場合がある。【解決手段】 赤外光画像における物体の検知結果と、可視光画像における物体の検知結果に基づいて、赤外光画像と可視光画像と合成画像のうちの少なくとも１つを出力する。【選択図】 図４

Description

本発明は２つ以上の撮像ユニットを持つ撮像装置による映像配信技術に関する。
近年、監視用途で用いられるネットワークカメラにおいて、夜間及び降雨や降雪などの悪条件下での撮影が可能な赤外光を利用したモデルが増加している。警備用途で数多くのネットワークカメラが利用されており、その中には赤外光カメラと可視光カメラの両方を備えているモデルも存在する。
赤外光カメラでは、物体から放射されている赤外線を専用センサで検出し、その検出データを画像処理することで目視可能な映像を生成する。メリットとして、光源を必要としないことや雨や霧などの影響を受けづらいこと、また遠距離での監視に向いていることなどが挙げられる。デメリットとしては、一般的な可視光カメラに比べて解像度が低く、色及び文字などの模様を撮像することにも向いていない。
最近では、可視光映像に赤外光カメラで検出した物体の形を切り出して合成し映像を生成する技術がある。
しかし、前記のような二眼構成のネットワークカメラで伝送する映像データが複数種類存在する場合に、赤外線映像と可視映像の両方を伝送すると伝送帯域を圧迫してしまうことがある。そのため、特許文献１では、可視映像のコントラストが低い部分に赤外線映像を合成して配信する方法が開示されている。
特許第６１６８０２４号公報
しかし、赤外光映像と可視光映像と合成映像のうちの、どれが監視用途に好ましいかは撮影状況によって変化し、ユーザにとって判断することが困難な場合がある。特許文献１の技術では、監視用途として好ましい映像の判断について、ユーザを補助することができていない。
上記課題を解決するために、本発明に係る撮像装置は、赤外光撮像手段と可視光撮像手段とを備えた撮像装置であって、前記赤外光撮像手段によって得られた第１画像および前記可視光撮像手段によって得られた第２画像の少なくとも一方から物体を検知する検知手段と、前記第１画像と前記第２画像とに基づいて合成画像を生成する合成手段と、前記検知手段による検知結果に基づいて、前記第１画像、前記第２画像、前記合成画像のうちの少なくとも１つをネットワーク経由でクライアント装置に出力する出力手段とを有することを特徴とする。
カメラ映像の撮像状態に基づいて、赤外光映像と可視光映像と合成映像の中から監視用途に適した映像を判断し易くすることが可能になる。
ネットワークカメラの外観を示す模式図である。 （ａ）ネットワークカメラシステムの概略構成を示す模式図である。（ｂ）ネットワークカメラシステムのハード構成を示す概略図である。 ネットワークカメラの概略構成を示すブロック図である。 配信映像判定処理を示すフローチャートである。 学習機構と連携したネットワークカメラの概略構成を示す模式図である。 機械学習による判定結果の例を示す模式図である。 検知レベル判定の規則を示す模式図である。 配信映像判定処理を示すフローチャートである。 配信映像判定処理を示すフローチャートである。 赤外光映像における物体検知結果の例を示す模式図である。
＜実施形態１＞
以下に、図面を参照しながら本実施形態について説明する。
図１のネットワークカメラ１００は、可視光を撮像するためのレンズ（不図示）とＣＭＯＳなどの撮像素子（不図示）を備える鏡筒部１０１と、赤外光を撮像するためのレンズと撮像素子を備える鏡筒部１０２を有している。ネットワークカメラ１００は、撮像エリアを水平方向（図中のパン方向１０４）および鉛直方向（図中のチルト方向１０３）に移動させるための駆動手段（不図示）を備える。なお、レンズや鏡筒は着脱可能であってもよい。
図２（ａ）は、ネットワークカメラ１００を含むネットワークカメラシステムの模式図である。ネットワークカメラ１００とクライアント装置１１０は、ネットワーク１２０を介して相互に通信可能な状態に接続されている。クライアント装置１１０は、ネットワークカメラ１００に対して、各種コマンドをネットワーク経由で送信する。ネットワークカメラ１００は、それらのコマンドに対するレスポンスをクライアント装置１１０に送信する。コマンドの例としては、ネットワークカメラ１００の撮影画角を変更するためのパン・チルト・ズーム制御（ＰＴＺ制御）コマンドやネットワークカメラ１００の撮影モードや配信モード、画像処理および検知機能の少なくとも１つを調整するためのパラメータ設定コマンドなどがある。ＰＴＺ制御コマンドやパラメータ設定コマンド、またはネットワークカメラ１００で利用可能な機能を取得するためのケイパビリティ取得コマンドについてはＯＮＶＩＦ規格に沿ったプロトコルに従って、通信するようにしてもよい。
図２（ｂ）は、クライアント装置１１０およびネットワークカメラ１００のハードウェア構成を示す概略図である。ＣＰＵ２０１はクライアント装置１１０を制御する中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。ＨＤＤ２０２は、ＣＰＵ２０１がクライアント装置１１０を制御するためのプログラムやパラメータなどを記憶する大容量の記憶装置（二次記憶装置）である。かならずしも、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である必要はなく、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やフラッシュメモリ等の種々の記憶媒体を利用してもよい。ＲＡＭ２０３は、ＣＰＵ２０１がＨＤＤ２０２から読出したプログラムを展開し、後述の処理を実行するためのメモリである。また、ＲＡＭ２０３は、一次記憶装置として各種処理の対象となるデータやパラメータを一時記憶するための記憶領域として使用されることもある。
ＩＦ２０４は、ネットワーク１２０を介してＴＣＰ／ＩＰやｈｔｔｐ、ＯＮＶＩＦ等のプロトコルに従って、ネットワークカメラ１００と通信を行う。ＩＦ２０４は、ネットワークカメラ１００からの映像データや検知物体情報などのメタデータや上述したレスポンスを受信したり、ネットワークカメラへ上述した各種のコマンド等を送信したりする。
表示装置２０５は、映像データに応じた映像等を表示するディスプレイ等の表示デバイスである。なお、クライアント装置１１０の筐体は表示装置２０５と一体であってもよい。ＵＩ２０６は、キーボードおよびマウス等などの入力装置（ユーザインターフェース）であり、ジョイスティックや音声入力装置などでもよい。
クライアント装置１１０は一般的なＰＣ（パーソナルコンピュータ）を利用することができる。クライアント装置１１０は、ＣＰＵ２０１がＨＤＤ２０２に保持しているプログラムコードを読み出して実行することにより、物体を検知する機能を設定するためのグラフィックユーザーインタフェース（ＧＵＩ）を提供することができる。なお、本実施形態では、ＣＰＵ２０１を主体に説明しているが、ＣＰＵ２０１の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、表示装置２０５にＧＵＩや映像データを表示する処理はＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で行ってもよいし、ＨＤＤ２０２からプログラムコードを読み出してＲＡＭ２０３に展開する処理は転送装置として機能するＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）によって行ってもよい。
次にネットワークカメラ１００のハードウェア構成を説明するＣＰＵ２１０はネットワークカメラ１０３を統括制御する中央処理装置である。ＲＯＭ２１１は、ＣＰＵ２１０がネットワークカメラ１０３を制御するためのプログラムを記憶する。なお、ＲＯＭ２１１に加えてＨＤＤ２０２と同等な二次記憶装置を備えるようにしてもよい。ＲＡＭ２１２は、ＲＯＭ２１１から読み出されたプログラムを展開し、ＣＰＵ２１０が処理を実行するためのメモリである。また、ＲＡＭ２１２は、一時記憶メモリとしてネットワークカメラ１００における各種処理の対象となるデータを一時記憶するための記憶領域としても使用される。
ＩＦ２１３は、ネットワーク１２０を介してＴＣＰ／ＩＰやｈｔｔｐ、ＯＮＶＩＦ等のプロトコルに従って、クライアント装置１００と通信を行う。ＩＦ２１３は、クライアント装置１１０へ映像データや検知物体等のメタデータや上述したレスポンスを送信したり、クライアント装置１１０から上述した各種コマンドを受信したりする。
撮影デバイス２１４は、ライブ映像を動画および静止画として撮影するビデオカメラなどの撮影デバイスである。なお、ネットワークカメラ１００の筐体と撮影デバイス２１４の筐体は一体であってもよいし、別であってもよい。
次に、図３を参照して、ネットワークカメラ１００の各機能構成について説明する。
可視光撮像部３０１は、レンズ及び撮像素子を含む撮像部３０１１と、画像処理部３０１２、顔検知部３０１３、パターン検知部３０１４を備え、被写体の撮像及び各種の画像処理や検知処理を行う。
画像処理部３０１２は、撮像部３０１１において撮像された画像信号に対し、後段の検知処理を行うために必要な画像処理を行い、画像データ（可視光画像、可視光映像とも呼称など）を生成する。例えば、後段の検知処理で形状特徴に基づいてマッチングする場合には、画像処理部３０１２は２値化処理をしたり、被写体のエッジを抽出する処理をしたりする。また、後段の検知処理で色特徴に基づいて検知する場合には、画像処理部３０１２は事前に推定した光源の色温度やレンズの色味などに基づいて色補正をしたり、逆光補正やかすみ補正のための覆い焼き処理をしたりする。また、画像処理部３０１２が撮像された画像信号の輝度成分に基づいてヒストグラム処理を行い、白とびや黒つぶれなどがある場合には、撮像部３０１１と連動してＨＤＲ（Ｈｉｇｈ Ｄｉｎａｍｉｃ Ｒａｎｇｅ）撮像をするようにしてもよい。ＨＤＲ撮像は撮像部３０１１の露出を変えて撮像した複数枚の画像を合成する一般的な技術を利用することができる。
顔検知部３０１３は、画像処理部３０１２から送られた画像データを解析し、映像内の物体に人の顔として認識できる部分が存在するか否かを判定する。顔検知とは、画像中の任意の部分を抽出し、その部分画像と人の顔を構成する特徴的な部分を示すパターン画像とを照らし合わせる（マッチングする）ことで、画像内に顔が存在するかを判定する処理のことである。特徴部分の例として、眼や鼻の相対位置、ほお骨やあごの形などが挙げられる。また、パターン画像の代わりにパターン特徴（眼や鼻の相対位置、ほお骨やあごの形など）を保持しておき、部分画像から抽出した特徴と比較することでマッチングするようにしてもよい。
パターン検知部３０１４は、画像処理部３０１２から送られた画像データを解析し、映像内の物体に色や文字情報などのパターンを認識できる部分が存在するか否かを判定する。パターン検知とは、画像中の任意の部分を抽出し、ある特定の文字やマークなどのリファレンス画像（リファレンス特徴であってもよい）と比較し、一致するか否かを判定する。海上監視や国境監視を例にすると、検知した物体のボディに表記されている文字や、掲げられている国旗の色、模様などが挙げられる。
赤外撮像部３０２は、レンズ及び撮像素子を含む撮像部３０２１と、画像処理部３０２２、物体検知部３０２３を備え、被写体の撮像及び必要な画像処理や検知処理を行う。
画像処理部３０２２は、撮像部３０２１において撮像された信号に対し、視認可能な画像へ変換する信号処理を行い、画像データ（赤外光画像、赤外光映像）を生成する。
物体検知部３０２３は、画像処理部３０２２から送られた画像データを解析し、映像内に背景と異なる物体が存在するか否かを判定する。例えば、物体検知部３０２３は、物体が写っていない状況で撮像した画像を背景画像として参照し、検知処理の対象の撮像画像との差分に基づいて、差分が所定の閾値より大きく、差分領域が所定の大きさ以上であるものを前景として抽出する。また、差分領域の外接矩形が人や車両、船舶に対応するようなアスペクト比である場合に物体の種別を検出するようにしてもよい。また、背景差分と合わせてフレーム間差分を実行することで、動体と静止体とを区別できるようにしてもよい。背景差分により検出した領域について、フレーム間差分の差分領域を所定の割合以上含めば動体、そうでなければ静止体として区別される。
ネットワーク映像処理部３０３は、配信する映像データを決定する映像判定部３０３１と可視光映像に赤外光映像を合成する処理を行う合成処理部３０３２と、ネットワークへ配信するための映像圧縮処理を行うエンコーダ３０３３を備えている。
合成処理部３０３２では、映像判定部３０３１によって合成画像データ（合成画像、合成映像）を生成する。例えば、可視光映像の視認性が悪いという様に判断された場合等に、赤外光映像で検知した物体のディテール（形状やテクスチャーなど）を切り出して可視光映像の対応する位置に重畳する合成処理を行う。ここで、映像判定部３０３１による判定処理の詳細は後述する。なお、合成処理部３０３２の合成処理として、可視光映像のコントラスト比が低い部分に赤外線映像の同じ位置の画像を重畳して合成する手法や、可視光映像の背景画像に赤外線映像の前景を重畳して合成する手法などがある。可視光映像の背景と、赤外映像の前景とが強調される様に合成できれば、アルファ合成などでもよい。
エンコーダ３０３３は、映像判定部３０３１で決定した映像データを圧縮する処理を行い、ＩＦ２１３を介してネットワーク１２０へ送出する。映像データを圧縮する方法としては、ＪｐｅｇやＭＰＥＧ４、Ｈ．２６４、ＨＥＶＣなどの既存の圧縮方法を利用すればよい。
なお、図３の可視光撮像部３０１と赤外光撮像部３０２の其々が画像処理部と検知部を専用のハードウェアとして備えていてもよいが、これらの構成はＣＰＵ２１０がＲＡＭ２１２のプログラムコードを実行することにより実現されてもよい。ネットワーク映像処理部３０３については、映像判定部３０３１、合成処理部３０３２、エンコーダ３０３３についても、ＣＰＵ２１０がＲＡＭ２１２のプログラムコードを実行することにより実現可能である。ただし、検知処理や圧縮処理などの構成は専用のハードウェアとして備えていた方が、ＣＰＵ２１０の負荷を分散することができる。
次に図４を用いて映像判定部３０３１において配信映像を決定する処理について説明する。最初に映像判定部３０３１は、物体検知部３０２３から赤外光映像における物体検知結果を取得する（Ｓ４０１）。次に、映像判定部３０３１は取得した物体検知結果を解析し、赤外光映像について物体検知部３０２３が物体を検知しているかどうかを判断する（Ｓ４０２）。
映像判定部３０３１は、ステップＳ４０２で物体が検知されていない場合はＮｏに進み、赤外光映像を配信映像として判定する（Ｓ４０８）。これは、赤外光映像の特性として夜間や悪天候などの可視光映像においては悪条件の下でも検出精度が落ち難いこと、また可視光映像に比べて遠距離の物体検出が可能であることから、赤外光映像を監視用として他の映像よりも優先的に利用することが好ましいためである。
一方、ステップＳ４０２で物体が検知されている場合はＹｅｓに進み、顔検知部３０１３から顔検知結果を取得し、パターン検知部３０１４からパターン検知結果を取得する（Ｓ４０３）。そして、映像判定部３０３１は取得した検知結果に基づいて、顔検出できているかどうかを判定し（Ｓ４０４）、さらにパターン検出できているかどうかを判定する（Ｓ４０５）。
ステップＳ４０４で顔検知あり（ＹＥＳ）、またはステップＳ４０５でパターン検知あり（ＹＥＳ）であった場合、映像判定部３０３１は、可視光映像を配信映像として決定する（Ｓ４０７）。これは顔検知が可能な映像をクライアント装置１１０へ配信することで、クライアント装置１１０で顔認証処理に利用可能であることや、またパターン検知が可能な映像をクライアント装置１１０へ配信することで、クライアント装置１１０で更に膨大な辞書を用いて、物体の特定をすることができるためである。
一方、ステップＳ４０４で顔検知なし（Ｎｏ）で、かつ、ステップＳ４０５でパターン検知なし（Ｎｏ）の場合、映像判定部３０３１は、合成映像を配信映像として決定する（Ｓ４０６）。これは可視光映像で視認可能な背景部分と、物体の位置を併せて確認することができるからである。実際にユーザが目視で物体を確認しようとして、表示装置２０５に表示される配信映像を参照する際に、可視光映像の背景と、赤外映像の前景とが強調される様に合成した合成映像は監視目的に有利である。
以上、本実施形態によれば、物体の検知結果に基づいて監視に好適な映像種別を判定してクライアント装置１１０へ伝送することで、ユーザは監視に好ましい映像種別を判断して切り替える必要が無くなり利便性が良くなる。また監視に好ましくない映像データを配信されない様に制御できるので効率な監視を行うことが可能となる。
また、そもそもネットワークカメラは設置場所によっては複数の種別から１つの映像しか伝送できない場合がある。例えば、周囲に建物や街灯などが無い山奥や海岸線などである。このような場所では映像を伝送するためのインフラが整備されていないため、十分な伝送帯域が確保できないことが多い。ただ、どちらか一方の映像しか伝送できない場合に、常に赤外光映像を配信してしまうと、撮影条件が良いときに顔認証や物体特定などの機能を実現することができない。また常に可視光映像を配信してしまうと、撮影条件が悪い場合に物体検知をすることができないという問題が起きてしまう。上述の実施形態によれば、気象条件に影響を受け難い様な監視に好適な映像を、大容量のデータ転送ができない設定場所であっても配信することができる。
また、赤外光映像に物体が有ることを検知できている場合であっても、可視光映像へ切り換えるべきかの判断が難しい場合がある。また、一般的に、赤外光映像に比べて可視光映像の方が高解像度で、また圧縮効率が悪い事が多いため、ネットワークで伝送するデータ量が多くなる傾向がある。そこで、監視のための効果が期待できなければ赤外光映像から可視光映像への切換えを行わない方がデータ転送量の観点では望ましいことがある。
そこで、物体判定処理に機械学習を適用し、形や大きさなどの特徴を基に物体の種類を判定し、任意の検知レベル以上の物体が特定できた場合にのみ、可視光映像に切り替えるようにしてもよい。ここで検知レベルとは、監視対象にすべき度合を示す。
また、機械学習とは、特定のサンプルデータから反復的に学習を行い、そこに潜む特徴を見つけ出し、学習結果を新たなデータにあてはめることにより、その特徴に従って将来を予測することができるアルゴリズムのことである。ＴｅｎｓｏｒＦｌｏｗやＴｅｎｓｏｒＦｌｏｗ Ｌｉｔｅ、Ｃａｆｆｅ２などの既存のアルゴリズムを用いるようにしてもよい。なお、以降の説明では、図１〜４と同一機能を有する構成や工程には同一符号を付すとともに、構成的、機能的にかわらないものについてはその説明を省略する。
図５を参照して、本実施例におけるネットワークカメラ１００の各部構成と機能について説明する。機械学習部５０４は、学習データによる物体判定結果を生成する機械学習処理部５０４１と物体判定結果を基に検知レベルを判定する検知レベル判定部５０４２を備えている。
ここで、機械学習を利用した検知レベル判定処理について、図６及び図７を用いて説明する。なお、機械学習での判定に赤外光映像と可視光映像の両方を用いるが、これは夜間や視認性が悪い環境での判定には赤外光映像を使用し、視認性が高い環境での判定には可視光映像を使用するからである。また、判定対象の物体は監視用途や設置場所により異なるが、本実施例では海上監視を例にして説明する。
機械学習処理部５０４１では、海上で検出される物体及び船舶の特徴を学習したデータを予め準備しておき、入力した可視光撮像部５０１または赤外光撮像部５０２からの映像に対して機械学習処理を行う。機械学習に基づいて、物体の種類を判定した処理結果の一例を図６に示す。入力映像に複数の物体が映っている場合があるため、識別した種類の物体の其々に物体Ｎｏ（物体ＩＤでもよい）を割り当てる。そして、機械学習処理部５０４１は、物体Ｎｏごとの判定結果と、判定結果が一致する確率（確からしさ、尤度であってもよい）を算出する。
検知レベル判定部５０４２では、機械学習処理部５０４１で判定した結果を基に、検知レベルを決定する。図７は物体の種類の判定結果に基づいて検知レベルを決定するための規則を示したテーブルを示す。ここで、図６の判定結果では、機械学習処理部５０４１が一般船舶として判定した物体があるため、検知レベル判定部５０４２は検知レベルを４と決定する。
次に図８を用いて映像判定部５０３１における配信映像決定処理について説明する。
最初に映像判定部５０３１は機械学習部５０４から検知レベルを取得する（Ｓ８０１）。
検知レベルが２以下であった場合、赤外光映像を配信映像をとして決定する（Ｓ４０８）。これは検知レベルが２以下では物体を船舶として特定できておらず、データ量が多い可視光映像を配信する必要が無いためである。次に検知レベルが３以上の場合は、顔検知部５０１３から検知結果を取得し、またパターン検知部５０１４からパターン検知結果を取得する（Ｓ４０３）。
検知結果が顔検知ありで、またパターン検知ありであった場合、可視光映像を配信映像として決定する（Ｓ４０７）。顔検知なしでパターン検知なしの場合、合成映像を配信映像に決定する（Ｓ４０６）。
以上のように、図５の構成によれば、機械学習を利用して決定した検知レベルを配信映像判定に用いることで、よりクライアント装置１１０での効率的な監視業務を行うことができる。
また、図９のようにネットワーク映像処理部３０３における配信映像決定後にビットレート低減処理をしてもよい。映像判定部３０３１において、配信映像を可視光映像、赤外映像、および合成映像の中から決定した後に、赤外光映像から取得した検知結果に含まれる物体情報（検出位置と検出サイズ）に基づいて興味領域であるＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を設定し、エンコーダ３０３３でＲＯＩ以外のビットレート低減処理を行う（Ｓ９０１）。ビットレート低減処理は、エンコーダ３０３３がＲＯＩの圧縮率よりもＲＯＩ以外の圧縮率や量子化パラメータを大きくしたり、ＤＣＴ変換を伴う圧縮において高周波成分をカットする割合を大きくしたりすることで実現できる。
図１０は物体検知部３０２３から取得できる物体情報の例である。物体検知部３０２３は検出した物体ごとに物体Ｎｏを割り当て、物体Ｎｏごとの映像内の位置座標（画像の左上を原点として水平方向のピクセル数をＸ、鉛直方向のピクセル数をＹとする）と物体サイズ（Ｘ方向のピクセル数，Ｙ方向のピクセル数）を生成する。
エンコーダ３０３３は取得した物体Ｎｏの位置座標と物体サイズを基に矩形領域を設定し、矩形領域外部分のビットレートを低減する処理を行う。また、エンコーダ３０３３は映像判定部３０３１により配信対象として種別の映像以外を、高圧縮処理を施すなどして低ビットレートで、配信対象とした種別の映像と一緒に配信するようにしてもよい。また、上述の説明では顔検知部３０１３を例に説明しているが、人体（上半身または全身または全身の一部）を検知する機能を用いてもよい。
なお、上述の説明では、ネットワークカメラ１００の内部で配信映像を決定する例について説明したが、ネットワークカメラ１００に接続したクライアント装置１１０に対して赤外光撮像映像と可視光撮像映像を伝送し、クライアント装置１１０で出力する映像を選択してもよい。
その場合には、クライアント装置のＣＰＵ２０１に所定のプログラムを実行させることで映像判定部３０３１および合成処理部３０３２として機能させればよい。
また、顔検知部３０１３やパターン検知部３０１４、物体検知部３０２３もクライアント装置のＣＰＵ２０１に実現させるようにしてもよい。また、機械学習部５０４をクライアント装置のＣＰＵ２０１に実行させる構成をとっても良い。
また、クライアント装置１１０側では映像判定部３０３１により選択した種別の映像だけを表示装置２０５に表示させてもよいし、複数の種別の映像を表示している際に映像判定部３０３１により選択した種別の映像を強調したりポップアップさせたりして強調してもよい。なお、本明細書において、検知と検出は同義であって、検査することにより見つけ出すこと、を意味する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (19)

  1. 赤外光撮像手段と可視光撮像手段とを備えた撮像装置であって、
    前記赤外光撮像手段によって得られた第１画像および前記可視光撮像手段によって得られた第２画像の少なくとも一方から物体を検知する検知手段と、
    前記第１画像と前記第２画像とに基づいて合成画像を生成する合成手段と、
    前記検知手段による検知結果に基づいて、前記第１画像、前記第２画像、前記合成画像のうちの少なくとも１つをネットワーク経由でクライアント装置に出力する出力手段と
    を有することを特徴とする撮像装置。
  2. 前記検知手段は、前記赤外光撮像手段によって得られた第１画像から物体を検知する第１検知手段と、前記可視光撮像手段によって得られた第２画像から物体を検知する第２検知手段と、を備え、前記出力手段は前記第１検知手段と前記第２検知手段による検知結果に基づいて前記第１画像、前記第２画像、前記合成画像のうちの少なくとも１つを出力することを特徴とする請求項１に記載の撮像装置。
  3. 前記出力手段は、前記第１検知手段により前記第１画像から物体が検知されない場合は、前記第１画像を前記クライアント装置に出力することを特徴とする請求項２に記載の撮像装置。
  4. 前記出力手段は、前記第２検知手段により前記第２画像から所定の特徴が検知される場合は、前記第２画像を前記クライアント装置に出力することを特徴とする請求項２または３に記載の撮像装置。
  5. 前記出力手段は、前記第２検知手段により前記第２画像から所定の特徴が検知されない場合は、前記合成画像を前記クライアント装置に出力することを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
  6. 前記第１画像と前記第２画像から機械学習を利用して検知物体を推定する推定手段を更に備え、前記出力手段は、前記推定手段により推定した物体の検知レベルと前記第２検知手段による検知結果とに基づいて、前記第１画像、前記第２画像、前記合成画像のうちの少なくとも１つを出力することを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
  7. 前記赤外光撮像手段によって得られた第１画像から検知された物体に基づいて、前記可視光撮像手段によって得られた第２画像に興味領域を設定する設定手段を更に備え、前記出力手段は、前記第２画像、前記合成画像のうちの少なくとも１つについて前記興味領域の外のビットレートを低減させて出力することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
  8. 前記合成手段は、前記第１画像で検知された物体を切り出して前記第２画像の対応する位置に重畳することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
  9. 前記合成手段は、前記第２画像でコントラストが低い部分に前記第１画像を合成することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
  10. 赤外光撮像手段と可視光撮像手段とを備えた撮像装置とネットワークを介して通信する画像処理装置であって、
    前記赤外光撮像手段によって得られた第１画像および前記可視光撮像手段によって得られた第２画像を受信する受信手段と、
    前記第１画像における物体の検知結果と前記第２画像における物体の検知結果に基づいて、前記第１画像、前記第２画像、および前記第１画像と前記第２画像を合成した合成画像のうちの少なくとも１つを出力する出力手段とを有することを特徴とする画像処理装置。
  11. 前記第１画像と第２画像から機械学習を利用して検知物体の種類を推定する推定手段を更に備え、前記出力手段は、前記推定手段により推定した物体に基づいて、前記第１画像、前記第２画像、前記合成画像のうちの少なくとも１つを出力することを特徴とする請求項１０に記載の画像処理装置。
  12. 赤外光撮像手段と可視光撮像手段とを備えた撮像装置の制御方法であって、
    前記赤外光撮像手段によって得られた第１画像および前記可視光撮像手段によって得られた第２画像の少なくとも一方から物体を検知する検知工程と、
    前記第１画像と前記第２画像とに基づいて合成画像を生成する合成工程と、
    前記検知工程における検知結果に基づいて、前記第１画像、前記第２画像、前記合成画像のうちの少なくとも１つをネットワーク経由でクライアント装置に出力する出力工程と
    を有することを特徴とする撮像装置の制御方法。
  13. 前記検知工程は、前記赤外光撮像手段によって得られた第１画像から物体を検知する第１検知工程と、前記可視光撮像手段によって得られた第２画像から物体を検知する第２検知工程と、を含み、前記出力工程は前記第１検知工程と前記第２検知工程における検知結果に基づいて前記第１画像、前記第２画像、前記合成画像のうちの少なくとも１つを出力することを特徴とする請求項１２に記載の制御方法。
  14. 前記出力工程では、前記第１検知工程において前記第１画像から物体が検知されない場合は、前記第１画像を前記クライアント装置に出力することを特徴とする請求項１３に記載の制御方法。
  15. 前記出力工程では、前記第２検知工程において前記第２画像から所定の特徴が検知される場合は、前記第２画像を前記クライアント装置に出力することを特徴とする請求項１３または１４のいずれか１項に記載の制御方法。
  16. 前記出力工程では、前記第２検知工程において前記第２画像から所定の特徴が検知されない場合は、前記合成画像を前記クライアント装置に出力することを特徴とする請求項１３乃至１５のいずれか１項に記載の制御方法。
  17. 赤外光撮像手段と可視光撮像手段とを備えた撮像装置とネットワークを介して通信する画像処理装置の制御方法であって、
    前記赤外光撮像手段によって得られた第１画像および前記可視光撮像手段によって得られた第２画像を受信する受信工程と、
    前記第１画像における物体の検知結果と前記第２画像における物体の検知結果に基づいて、前記第１画像、前記第２画像、および前記第１画像と前記第２画像を合成した合成画像のうちの少なくとも１つを出力する出力工程と
    を有することを特徴とする画像処理装置の制御方法。
  18. 赤外光撮像手段と可視光撮像手段とを備えたコンピュータを
    前記赤外光撮像手段によって得られた第１画像および前記可視光撮像手段によって得られた第２画像の少なくとも一方から物体を検知する検知手段と、
    前記第１画像と前記第２画像とに基づいて合成画像を生成する合成手段と、
    前記検知手段による検知結果に基づいて、前記第１画像、前記第２画像、前記合成画像のうちの少なくとも１つをネットワーク経由でクライアント装置に出力する出力手段として機能させることを特徴とするコンピュータが読み取り可能なプログラム。
  19. 赤外光撮像手段と可視光撮像手段とを備えた撮像装置と通信するコンピュータを、
    前記赤外光撮像手段によって得られた第１画像および前記可視光撮像手段によって得られた第２画像を受信する受信手段と、
    前記第１画像における物体の検知結果と前記第２画像における物体の検知結果に基づいて、前記第１画像、前記第２画像、および前記第１画像と前記第２画像を合成した合成画像のうちの少なくとも１つを出力する出力手段して機能させることを特徴とするコンピュータが読み取り可能なプログラム。
JP2017251719A 2017-12-27 2017-12-27 撮像装置、画像処理装置、制御方法およびプログラム Pending JP2019118043A (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2017251719A JP2019118043A (ja) 2017-12-27 2017-12-27 撮像装置、画像処理装置、制御方法およびプログラム
EP18213574.9A EP3506228A1 (en) 2017-12-27 2018-12-18 Image capturing apparatus, image processing apparatus, control method, and program
BR102018076367-9A BR102018076367A2 (pt) 2017-12-27 2018-12-18 Aparelho de captura de imagem, aparelho de processamento de imagem, método de controle e mídia de armazenamento
US16/228,500 US20190199898A1 (en) 2017-12-27 2018-12-20 Image capturing apparatus, image processing apparatus, control method, and storage medium
RU2018145742A RU2018145742A (ru) 2017-12-27 2018-12-24 Устройство захвата изображения, устройство обработки изображения, способ управления и носитель хранения
KR1020180170002A KR20190079574A (ko) 2017-12-27 2018-12-27 촬상장치, 화상 처리장치, 제어방법 및 기억매체
CN201811612147.0A CN109981943A (zh) 2017-12-27 2018-12-27 摄像设备、图像处理设备、控制方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017251719A JP2019118043A (ja) 2017-12-27 2017-12-27 撮像装置、画像処理装置、制御方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2019118043A true JP2019118043A (ja) 2019-07-18

Family

ID=65003113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017251719A Pending JP2019118043A (ja) 2017-12-27 2017-12-27 撮像装置、画像処理装置、制御方法およびプログラム

Country Status (7)

Country Link
US (1) US20190199898A1 (ja)
EP (1) EP3506228A1 (ja)
JP (1) JP2019118043A (ja)
KR (1) KR20190079574A (ja)
CN (1) CN109981943A (ja)
BR (1) BR102018076367A2 (ja)
RU (1) RU2018145742A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021039114A1 (ja) * 2019-08-29 2021-03-04 富士フイルム株式会社 撮像装置、撮像装置の動作方法、及びプログラム
CN113474788A (zh) * 2019-07-23 2021-10-01 东洋制罐株式会社 影像数据处理系统、无人飞机、影像数据处理方法及非暂存计算机可读取记忆媒体
WO2022044367A1 (ja) * 2020-08-26 2022-03-03 株式会社Ｊｖｃケンウッド 機械学習装置及び遠赤外線撮像装置
WO2022163544A1 (ja) * 2021-01-26 2022-08-04 京セラ株式会社 観察装置及び観察方法
WO2023286359A1 (ja) * 2021-07-12 2023-01-19 古野電気株式会社 着桟支援装置、着桟支援方法、及びプログラム
WO2023112349A1 (ja) * 2021-12-16 2023-06-22 古野電気株式会社 物標監視装置、物標監視方法、及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11800206B2 (en) 2019-07-08 2023-10-24 Calumino Pty Ltd. Hybrid cameras
US11748991B1 (en) * 2019-07-24 2023-09-05 Ambarella International Lp IP security camera combining both infrared and visible light illumination plus sensor fusion to achieve color imaging in zero and low light situations
FR3099976B1 (fr) * 2019-08-12 2021-07-09 Sagemcom Broadband Sas Caméra réseau munie d’un capot de privatisation
KR102300864B1 (ko) * 2019-10-29 2021-09-10 오토아이티(주) 색상 및 온도 정보 기반의 객체 검출 장치 및 방법
CN112333625A (zh) * 2019-11-05 2021-02-05 重庆邮电大学 一种基于Tensorflow的室内指纹定位方法
CN113542573A (zh) * 2020-04-14 2021-10-22 华为技术有限公司 一种拍照方法和电子设备
WO2023156825A1 (en) * 2022-02-18 2023-08-24 Uab "Yukon Advanced Optics Worldwide" A portable digital nightvision device with extended dynamic range and method using the same

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155177A (ja) * 1998-11-20 2000-06-06 Nikon Corp 人体検知装置および人体検知方法
US6829391B2 (en) * 2000-09-08 2004-12-07 Siemens Corporate Research, Inc. Adaptive resolution system and method for providing efficient low bit rate transmission of image data for distributed applications
US7471334B1 (en) * 2004-11-22 2008-12-30 Stenger Thomas A Wildlife-sensing digital camera with instant-on capability and picture management software
US20080129844A1 (en) * 2006-10-27 2008-06-05 Cusack Francis J Apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
US8243797B2 (en) * 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
US8837855B2 (en) * 2009-11-16 2014-09-16 Verizon Patent And Licensing Inc. Image compositing via multi-spectral detection
US9835564B2 (en) * 2012-06-08 2017-12-05 SeeScan, Inc. Multi-camera pipe inspection apparatus, systems and methods
US20140040173A1 (en) * 2012-08-02 2014-02-06 Video Inform Ltd. System and method for detection of a characteristic in samples of a sample set
JP2014238731A (ja) * 2013-06-07 2014-12-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理システム、および画像処理方法
US9530080B2 (en) * 2014-04-08 2016-12-27 Joan And Irwin Jacobs Technion-Cornell Institute Systems and methods for configuring baby monitor cameras to provide uniform data sets for analysis and to provide an advantageous view point of babies
JP6168024B2 (ja) 2014-10-09 2017-07-26 株式会社Ｊｖｃケンウッド 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
JP6275333B2 (ja) * 2015-05-21 2018-02-07 富士フイルム株式会社 赤外線撮像装置および赤外線撮像装置による信号補正方法
US10547829B2 (en) * 2016-06-16 2020-01-28 Samsung Electronics Co., Ltd. Image detecting device and image detecting method using the same

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113474788A (zh) * 2019-07-23 2021-10-01 东洋制罐株式会社 影像数据处理系统、无人飞机、影像数据处理方法及非暂存计算机可读取记忆媒体
CN113474788B (zh) * 2019-07-23 2024-02-13 东洋制罐株式会社 影像数据处理系统、无人飞机、影像数据处理方法及非暂存计算机可读取记忆媒体
WO2021039114A1 (ja) * 2019-08-29 2021-03-04 富士フイルム株式会社 撮像装置、撮像装置の動作方法、及びプログラム
JPWO2021039114A1 (ja) * 2019-08-29 2021-03-04
JP7289921B2 (ja) 2019-08-29 2023-06-12 富士フイルム株式会社 撮像装置、撮像装置の動作方法、及びプログラム
US11678070B2 (en) 2019-08-29 2023-06-13 Fujifilm Corporation Imaging apparatus, operation method of imaging apparatus, and program
WO2022044367A1 (ja) * 2020-08-26 2022-03-03 株式会社Ｊｖｃケンウッド 機械学習装置及び遠赤外線撮像装置
WO2022163544A1 (ja) * 2021-01-26 2022-08-04 京セラ株式会社 観察装置及び観察方法
WO2023286359A1 (ja) * 2021-07-12 2023-01-19 古野電気株式会社 着桟支援装置、着桟支援方法、及びプログラム
WO2023112349A1 (ja) * 2021-12-16 2023-06-22 古野電気株式会社 物標監視装置、物標監視方法、及びプログラム

Also Published As

Publication number Publication date
EP3506228A1 (en) 2019-07-03
RU2018145742A3 (ja) 2020-06-25
BR102018076367A2 (pt) 2019-07-16
KR20190079574A (ko) 2019-07-05
RU2018145742A (ru) 2020-06-25
US20190199898A1 (en) 2019-06-27
CN109981943A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
JP2019118043A (ja) 撮像装置、画像処理装置、制御方法およびプログラム
US11501535B2 (en) Image processing apparatus, image processing method, and storage medium for reducing a visibility of a specific image region
KR102049245B1 (ko) 화상처리 장치, 화상처리 방법, 화상처리 시스템 및 기억매체
US10839521B2 (en) Image processing apparatus, image processing method, and computer-readable storage medium
KR101926490B1 (ko) 이미지 처리 장치 및 방법
US20160142680A1 (en) Image processing apparatus, image processing method, and storage medium
KR100922784B1 (ko) 영상 기반 화재 감지 방법 및 이를 적용한 방범 및 방재 시스템
KR101514061B1 (ko) 노인 관리용 무선 카메라 장치 및 이를 통한 노인 관리 시스템
CN108141568B (zh) Osd信息生成摄像机、合成终端设备及共享系统
KR101204259B1 (ko) 화재 검출 방법
KR101796258B1 (ko) 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법
KR101735025B1 (ko) 후속 움직임 검출 프로세싱을 위해 비디오 스트림을 사전-프로세싱하기 위한 방법, 디바이스, 및 시스템
JP2019135810A (ja) 画像処理装置、画像処理方法およびプログラム
JP2004219277A (ja) 人体検知方法およびシステム、プログラム、記録媒体
JP2019029750A (ja) 撮像装置
WO2006010910A1 (en) Apparatus and method for capturing and transmitting images of a scene
WO2016063595A1 (ja) 画像処理装置、画像処理方法及びプログラム
KR102474697B1 (ko) 촬상 장치 및 영상 처리 방법
JP2020030751A (ja) 物体検出装置、物体検出方法、及び物体検出プログラム
JP2022148303A (ja) 監視カメラ、画像処理方法、およびプログラム
JP3736836B2 (ja) 物体検出方法及び物体検出装置及びプログラム
JP2018026682A (ja) 撮像装置、設定装置、画像解析装置、画像解析システム、及び設定方法
Mariappan et al. A design methodology of an embedded motion-detecting video surveillance system
CN112926367A (zh) 一种活体检测的设备及方法
JP6727894B2 (ja) 処理装置、処理方法、及びプログラム