JP2021108116A - Detection of object approached by monitoring camera - Google Patents

Detection of object approached by monitoring camera Download PDF

Info

Publication number
JP2021108116A
JP2021108116A JP2020204765A JP2020204765A JP2021108116A JP 2021108116 A JP2021108116 A JP 2021108116A JP 2020204765 A JP2020204765 A JP 2020204765A JP 2020204765 A JP2020204765 A JP 2020204765A JP 2021108116 A JP2021108116 A JP 2021108116A
Authority
JP
Japan
Prior art keywords
image
light source
illumination light
infrared illumination
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020204765A
Other languages
Japanese (ja)
Inventor
ステファン ルンドベリ,
Lundberg Stefan
ステファン ルンドベリ,
ヨナス ヒェルムストレム,
Hjelmstrom Jonas
ヨナス ヒェルムストレム,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of JP2021108116A publication Critical patent/JP2021108116A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617Surveillance camera constructional details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/94Investigating contamination, e.g. dust
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21KNON-ELECTRIC LIGHT SOURCES USING LUMINESCENCE; LIGHT SOURCES USING ELECTROCHEMILUMINESCENCE; LIGHT SOURCES USING CHARGES OF COMBUSTIBLE MATERIAL; LIGHT SOURCES USING SEMICONDUCTOR DEVICES AS LIGHT-GENERATING ELEMENTS; LIGHT SOURCES NOT OTHERWISE PROVIDED FOR
    • F21K9/00Light sources using semiconductor devices as light-generating elements, e.g. using light-emitting diodes [LED] or lasers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/30Driver circuits
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21YINDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
    • F21Y2115/00Light-generating elements of semiconductor light sources
    • F21Y2115/10Light-emitting diodes [LED]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Studio Devices (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

To provide a method, a system and a computer program product for determining existence of an object approached a lens of a camera which monitors a scene.SOLUTION: A method activates 102 a first infrared illumination light source arranged to illuminate a scene from a first angle, and acquires 104 a first image by an image capture device. The method inactivates a first infrared illumination light source, activates 106 a second infrared illumination light source arranged to illuminate the scene from a second angle, and acquires 108 a second image by the image capture device. The method compares intensity information of the first image with intensity information of the second image to determine existence of an object approached a camera lens.SELECTED DRAWING: Figure 1

Description

本発明はカメラに関し、より詳細には、カメラのレンズに近接近した物体の検知に関する。 The present invention relates to a camera, and more particularly to the detection of an object close to the lens of the camera.

特に、それぞれのカメラの状態を手作業で監視するのが実質的に不可能な何百または何千ものカメラを含み得る大きな監視システムにおいて、カメラの健全性管理が普及しつつある。室内環境と室外環境の両方で監視カメラに生じる共通問題の1つには、カメラの中に組み込まれることが多い赤外線にクモや昆虫が引き寄せられることがある。 Camera health management is becoming widespread, especially in large surveillance systems that can include hundreds or thousands of cameras for which it is virtually impossible to manually monitor the condition of each camera. One of the common problems with surveillance cameras in both indoor and outdoor environments is the attraction of spiders and insects to the infrared rays that are often incorporated into cameras.

昆虫(たとえば蝶、蛾など)やクモは、それ自体がレンズにとまるかまたは近接近することにより、カメラの視界を遮って、カメラが監視するシーンに生じるイベントを検知するカメラの能力を低下させることがある。昆虫またはクモがレンズまたは視界を横切って動くと、カメラの分析ソフトウェアが、これを、レンズの近接近における動きまたはレンズ上の動きではなくシーンにおける動きと解釈して、偽警報が誘発されることがある。 Insects (eg butterflies, moths, etc.) and spiders, by themselves perching or approaching the lens, block the camera's field of view and reduce the camera's ability to detect events that occur in the scene it monitors. Sometimes. When an insect or spider moves across the lens or field of view, the camera's analysis software interprets this as movement in the scene rather than movement in close proximity or on the lens, triggering a false alarm. There is.

さらに、特にクモは(一部の昆虫も)、レンズの前に「付属物」を残すことがある。そのような付属物の一例にはクモの巣がある。小さい昆虫やクモは、カメラの赤外線によって引き寄せられるので、レンズの前に付属物を残す傾向がある。クモの巣などの付属物がカメラの光によって照明されると、特に付属物に水滴があるときには光の大部分が付属物によって反射されてカメラセンサに返され、付属物が除去されるまでカメラの監視能力がある程度低下する。人間によって、不法な目的のために、たとえばある種の物体をレンズの近接近に置いてレンズを不明瞭にすることによってカメラが不正に変更される状況もあり得る。 In addition, spiders in particular (and some insects) may leave "attachments" in front of the lens. An example of such an accessory is a spider web. Small insects and spiders are attracted by the camera's infrared rays and tend to leave attachments in front of the lens. When an accessory such as a spider web is illuminated by the camera light, most of the light is reflected by the accessory and returned to the camera sensor, especially when there are water droplets on the accessory, and the camera monitors until the accessory is removed. Ability is reduced to some extent. There can also be situations in which the camera is tampered with by humans for illegal purposes, for example by placing some object in close proximity to the lens to obscure the lens.

少なくともこれらの理由のために、偽警報を防止し得るように、かつ/またはカメラに対する何らかの処置(たとえば障害物の除去)が必要であるという指示を得るために、レンズに接近した物体を自動的に検知するやり方を得るのが望ましい。 Automatically move an object close to the lens to prevent false alarms and / or to get instructions that some action (eg, obstruction removal) is needed on the camera, at least for these reasons. It is desirable to get a way to detect it.

本発明は、第1の態様によれば、コンピュータシステムにおいて、シーンを監視する画像取り込みデバイスのレンズに接近した物体の存在を判定するための方法に関する。この方法は、
・第1の角度からシーンを照明するように配置された第1の赤外線照明光源を活性化することと、
・画像取り込みデバイスによって第1の画像を取得することと、
・第1の赤外線照明光源を不活性化し、第2の角度からシーンを照明するように配置された第2の赤外線照明光源を活性化することと、
・画像取り込みデバイスによって第2の画像を取得することと、
・第1の画像の強度情報と第2の画像の強度情報を比較して、レンズに接近した物体の存在を判定することとを含む。
According to the first aspect, the present invention relates to a method for determining the presence of an object close to the lens of an image capturing device that monitors a scene in a computer system. This method
-Activating the first infrared illumination light source arranged to illuminate the scene from the first angle,
-Acquiring the first image with an image capture device and
-Inactivating the first infrared illumination light source and activating the second infrared illumination light source arranged to illuminate the scene from the second angle.
-Acquiring a second image with an image capture device and
-Includes determining the presence of an object close to the lens by comparing the intensity information of the first image with the intensity information of the second image.

この方法は、従来のカメラが一般的には異なる角度からシーンを照明するように制御され得る照明器を有するような、カメラのハードウェアセットアップに対する修正を大抵の場合は必要とすることなく、レンズに接近した物体を検知するための技術を改善するやり方を提供するものである。物体がレンズに接近して存在しているかどうかを自動的に判定することができるので、偽警報の回数を減少させることができ、カメラに対して何か手入れが必要な場合には適切な警報を生成することができる。この方法は、個々のカメラフィードの手動介入および監視の必要性を低減し、したがってカメラシステムの維持に関する経費の節約にも寄与し得るものである。 This method often requires no modifications to the camera's hardware setup, such as traditional cameras having illuminators that can generally be controlled to illuminate the scene from different angles. It provides a way to improve the technique for detecting objects in close proximity to. It can automatically determine if an object is close to the lens, reducing the number of false alarms and giving an appropriate alarm if any care is required for the camera. Can be generated. This method can reduce the need for manual intervention and surveillance of individual camera feeds and thus also contribute to the cost savings associated with maintaining the camera system.

一実施形態によれば、第1の赤外線照明光源と第2の赤外線照明光源は、基本的に等しい強度および波長で物体を照明するように配置される。両側から照明するための等しい強度および波長を有することにより、照明の点で可能な限り類似した状態をもたらし、異なる波長に対して異なる反射特性を有する照明された物体から生じ得る差異を取り除く。これによって画像の比較も容易になり、純粋に2つの異なる角度から物体を照明することによって生じる差異をより明瞭に識別することがより簡単になる。 According to one embodiment, the first infrared illuminating light source and the second infrared illuminating light source are arranged to illuminate an object with essentially the same intensity and wavelength. Having equal intensity and wavelength for illumination from both sides results in as similar a state as possible in terms of illumination, eliminating possible differences from illuminated objects with different reflection characteristics for different wavelengths. This also facilitates comparison of images and makes it easier to more clearly identify the differences caused by illuminating an object from purely two different angles.

一実施形態によれば、第1の赤外線照明光源および第2の赤外線照明光源は、それぞれ1つまたは複数の赤外線発光ダイオードを備える。発光ダイオード(LED)はほとんどのカメラにおいて標準的な要素であり、既存の構成要素を使用することによって、カメラのハードウェアに対する大きな修正が不要になる。それぞれの照明光源においてLEDの数も多様であり得る。場合によっては、それぞれの光源において1つのLEDで十分であり得、他の事例ではそれぞれの照明光源において複数のLEDが必要なこともある。 According to one embodiment, the first infrared illumination light source and the second infrared illumination light source each include one or more infrared light emitting diodes. Light emitting diodes (LEDs) are a standard component in most cameras, and the use of existing components eliminates the need for major modifications to the camera hardware. The number of LEDs in each illumination source can also vary. In some cases, one LED may be sufficient for each light source, and in other cases multiple LEDs may be required for each illumination light source.

一実施形態によれば、この方法は、第2の赤外線照明光源を不活性化し、第3の角度からシーンを照明するように配置された第3の赤外線照明光源を活性化することと、第3の画像を取得することと、第1の画像の強度情報と、第2の画像の強度情報と、第3の画像の強度情報とを比較して、レンズに接近した物体の存在を判定することとをさらに含む。2つよりも多くの赤外線照明光源を使用することができるので、より多くの画像が取得され得、しかも3つの画像の間の一対比較が可能になるため、物体の存在に関するより優れた判定が可能になり得る。これによって、レンズに接近した物体の存在が、より確実に判定される。 According to one embodiment, the method deactivates a second infrared illumination light source and activates a third infrared illumination light source arranged to illuminate the scene from a third angle. Acquiring the image of No. 3, comparing the intensity information of the first image, the intensity information of the second image, and the intensity information of the third image, and determining the existence of an object close to the lens. Including that further. Since more infrared illumination sources can be used than two, more images can be obtained, and paired comparisons between the three images are possible, resulting in a better determination of the presence of an object. It can be possible. As a result, the presence of an object close to the lens is more reliably determined.

一実施形態によれば、この方法は、第1の赤外線照明光源と第3の赤外線照明光源を一緒に活性化/不活性化することと、第2の赤外線照明光源と第4の赤外線照明光源を一緒に活性化/不活性化することとをさらに含み、第1の赤外線照明光源および第3の赤外線照明光源は、第2の赤外線照明光源および第4の赤外線照明光源から基本的に垂直に配置されている。互いに対して基本的に垂直に配置された照明光源の2つのグループを使用すると、優れた照明がもたらされるばかりでなく、レンズに接近して配置された物体によって生じ得る強度差が強化され、これによって、そのような物体の検知の精度が改善される。 According to one embodiment, this method activates / deactivates the first infrared illumination light source and the third infrared illumination light source together, and the second infrared illumination light source and the fourth infrared illumination light source. The first infrared illuminating light source and the third infrared illuminating light source are basically perpendicular to the second infrared illuminating light source and the fourth infrared illuminating light source. Have been placed. Using two groups of illumination sources that are essentially perpendicular to each other not only provides excellent illumination, but also enhances the intensity differences that can occur with objects placed close to the lens. Improves the accuracy of detecting such objects.

一実施形態によれば、強度情報を比較することは、第1の画像と第2の画像の間の全体的な強度差を補償することと、何らかの局所的強度差が残っているかどうかを判定することと、局所的強度差があるとの肯定的な判定に応答して、レンズに接近した物体の存在の指示を提供することとを含む。強度比較は計算上低コストの比較であり、最初に全体的な強度差を補償することにより、画像比較において局所的強度差がより明瞭に現れることになり、したがって、レンズに接近した物体の存在を簡単に判定することができる。 According to one embodiment, comparing the intensity information compensates for the overall intensity difference between the first image and the second image and determines if any local intensity difference remains. In response to a positive determination that there is a local intensity difference, it includes providing an indication of the presence of an object close to the lens. The intensity comparison is a computationally low cost comparison, and by first compensating for the overall intensity difference, the local intensity difference will appear more clearly in the image comparison, and therefore the presence of an object close to the lens. Can be easily determined.

一実施形態によれば、この方法は、局所的強度差パターンを参照強度差パターンと比較することと、局所的強度差パターンと参照強度差パターンの間に一致があるとき、レンズに接近した物体の存在の指示を提供することとを含む。異なる参照強度パターンがあると、レンズに接近した物体を検知し得るばかりでなく、物体が何であるかを少なくともある程度識別することも可能になり得る。たとえば、蝶は、クモの巣と比較して、または誰かがカメラを不正に変更したものと比較して、異なる強度パターンをもたらし得、異なるタイプの処置を行うことが必要となり得る。したがって、最も可能性の高い物体は何であるかということに基づいて、異なるタイプの警報が生成され得る。 According to one embodiment, the method compares a local intensity difference pattern with a reference intensity difference pattern and an object close to the lens when there is a match between the local intensity difference pattern and the reference intensity difference pattern. Includes providing instructions for the existence of. Having different reference intensity patterns can not only detect an object close to the lens, but can also identify what the object is, at least to some extent. For example, butterflies can result in different intensity patterns compared to spider webs, or compared to someone who tampered with the camera, and may require different types of treatment. Therefore, different types of alerts can be generated based on what is the most likely object.

一実施形態によれば、この方法は、ニューラルネットワークを使用して局所的強度差を評価し、レンズに接近した物体の存否を判定することを含むことができる。上記で説明されたことに類似して、ニューラルネットワークは、特定の物体をその強度プロファイルに基づいて自動的に識別するように教示され得る。 According to one embodiment, the method can include assessing the local intensity difference using a neural network to determine the presence or absence of an object close to the lens. Similar to what has been described above, neural networks can be taught to automatically identify a particular object based on its intensity profile.

一実施形態によれば、この方法は、レンズに接近した物体があると判定することに応答して、カメラ技士に通知を送ることを含むことができる。前述のように、この通知は検知の結果に基づいて自動的に生成され得る。通知にも様々なタイプがあり得、または物体が何であり得るかということに基づいて異なるタイプの人員に通知され得る。たとえば、クモの巣が検知された状況と比較して、カメラが不正に変更された状況に対処するのはより緊急であり得る。 According to one embodiment, the method can include sending a notification to the camera engineer in response to determining that there is an object close to the lens. As mentioned above, this notification can be automatically generated based on the result of the detection. There can be different types of notifications, or different types of personnel can be notified based on what the object can be. For example, it can be more urgent to deal with a situation where a camera has been tampered with, compared to a situation where a spider web has been detected.

一実施形態によれば、物体は、クモ、昆虫、クモの付属物、または昆虫の付属物であり得る。これらは、監視カメラが据え付けられている環境における問題の一般的な原因となる、様々な昆虫および「付属物」のいくつかの実例である。 According to one embodiment, the object can be a spider, an insect, a spider appendage, or an insect appendage. These are some examples of various insects and "attachments" that commonly cause problems in the environment in which surveillance cameras are installed.

一実施形態によれば、画像取り込みデバイスによって第1の画像を取得し、画像取り込みデバイスによって第2の画像を取得することは、いくつかの短期間の露光画像を取得して、これらをそれぞれ第1の画像および第2の画像へと組み合わせることを含む。これは、カメラが波のある水面を見渡すとき、または背景にある樹木の枝や葉が風で動くときなど、カメラが監視するシーンに多くの動きが含まれる状況において有効であり得る。この種のいくつかの短期間の露光画像を加えるかまたは平均をとることにより、そのような動きが一様にされ得、レンズに接近した物体がより正確に識別され得る。 According to one embodiment, acquiring a first image with an image capture device and acquiring a second image with an image capture device acquires several short-term exposed images, each of which is a second. Includes combining into one image and a second image. This can be useful in situations where the scene monitored by the camera contains a lot of movement, such as when the camera overlooks the surface of the water with waves, or when the branches and leaves of trees in the background move in the wind. By adding or averaging some short-term exposed images of this type, such movements can be made uniform and objects close to the lens can be more accurately identified.

一実施形態によれば、画像取り込みデバイスによって最初の画像を取得し、画像取り込みデバイスによって最後の画像を取得することは、いくつかの短期間の露光画像を取得して、これらをそれぞれ最初の画像および最後の画像へと組み合わせることを含む。最初の画像および最後の画像に関して、前の段落で説明されたものと類似の利点を得ることができる。 According to one embodiment, capturing the first image with an image capture device and capturing the last image with an image capture device takes several short-term exposed images, each of which is the first image. And to combine with the last image. With respect to the first and last images, you can get similar benefits to those described in the previous paragraph.

本発明は、第2の態様によれば、シーンを監視する画像取り込みデバイスのレンズに接近した物体の存在を判定するためのシステムに関する。メモリが命令を含み、命令は、プロセッサによって実行されたとき、プロセッサに
・第1の角度からシーンを照明するように配置された第1の赤外線照明光源を活性化することと、
・画像取り込みデバイスによって第1の画像を取得することと、
・第1の赤外線照明光源を不活性化し、第2の角度からシーンを照明するように配置された第2の赤外線照明光源を活性化することと、
・画像取り込みデバイスによって第2の画像を取得することと、
・第1の画像の強度情報と第2の画像の強度情報を比較して、レンズに接近した物体の存在を判定することとを含む方法を実施させる。
The present invention relates to a system for determining the presence of an object close to the lens of an image capture device that monitors a scene, according to a second aspect. When the memory contains instructions and the instructions are executed by the processor, the processor activates a first infrared illumination light source that is arranged to illuminate the scene from a first angle.
-Acquiring the first image with an image capture device and
-Inactivating the first infrared illumination light source and activating the second infrared illumination light source arranged to illuminate the scene from the second angle.
-Acquiring a second image with an image capture device and
A method including determining the presence of an object close to the lens by comparing the intensity information of the first image and the intensity information of the second image is performed.

システムの利点は方法の利点に相当し、同様に変化され得る。 The advantages of the system correspond to the advantages of the method and can vary as well.

本発明は、第4の態様によれば、シーンを監視する画像取り込みデバイスのレンズに接近した物体の存在を判定するためのコンピュータプログラムに関する。コンピュータプログラムは、
・第1の角度からシーンを照明するように配置された第1の赤外線照明光源を活性化するステップと、
・画像取り込みデバイスによって第1の画像を取得するステップと、
・第1の赤外線照明光源を不活性化し、第2の角度からシーンを照明するように配置された第2の赤外線照明光源を活性化するステップと、
・画像取り込みデバイスによって第2の画像を取得するステップと、
・第1の画像の強度情報と第2の画像の強度情報を比較して、レンズに接近した物体の存在を判定するステップとに対応する命令を含みている。
According to a fourth aspect, the present invention relates to a computer program for determining the presence of an object close to the lens of an image capture device that monitors a scene. Computer programs
-Steps to activate the first infrared illumination light source arranged to illuminate the scene from the first angle,
-The step of acquiring the first image by the image capture device and
-The step of inactivating the first infrared illumination light source and activating the second infrared illumination light source arranged to illuminate the scene from the second angle.
-The step of acquiring a second image by the image capture device and
-Includes instructions corresponding to a step of comparing the intensity information of the first image with the intensity information of the second image to determine the presence of an object close to the lens.

コンピュータプログラムは、方法の利点に相当する利点を含みており、同様に変化され得る。 Computer programs include advantages that correspond to the advantages of methods and can be varied as well.

以下の添付図面および説明において、本発明の1つまたは複数の実施形態の詳細が明らかにされる。本発明の他の特徴および利点は、説明および図面ならびに特許請求の範囲から明らかになるはずである。 In the accompanying drawings and description below, details of one or more embodiments of the present invention will be revealed. Other features and advantages of the present invention should become apparent from the description and drawings as well as the claims.

一実施形態による、レンズに接近した物体が存在するかどうかを判定するための方法100を示す流れ図である。FIG. 5 is a flow chart showing a method 100 for determining whether or not an object close to a lens exists according to an embodiment. 一実施形態による、レンズに接近した物体が存在するかどうかを判定するための方法200を示す流れ図である。FIG. 5 is a flow chart showing a method 200 for determining whether or not an object close to a lens exists according to an embodiment. 一実施形態による、個別のIR照明光源と、カメラによって取り込まれた画像と、画像分析構成要素を有するカメラ300とを示す概略図である。FIG. 5 is a schematic diagram showing an individual IR illumination light source, an image captured by a camera, and a camera 300 having image analysis components according to one embodiment.

様々な図面において類似の参照記号は類似の要素を示す。 Similar reference symbols in various drawings indicate similar elements.

上記で説明されたように、本発明の様々な実施形態の目標の1つは、偽警報が防止され得るように、レンズに接近した物体を自動的に検知できること、かつ/またはカメラに対する何らかの処置(たとえば障害物の除去)が必要であるという指示が得られることである。本発明は、カメラのレンズに接近した物体は異なって見える、すなわち、異なる角度から照明されるとき、画像の中で異なる強度を有することになるという一般的原理に由来するものである。したがって、2つの画像がカメラによって記録され、画像が異なる角度からのIR照明を使用して取り込まれるとき、画像の中の物体は異なって見える(すなわち、取得された画像の中で異なる強度を有する)ことになる。したがって、取得された画像を比較して、特に取得した画像間の局所的強度差を探すことにより、レンズに接近した物体があるかどうかを結論付けることができる。「接近した」物体と見なされるものは、当面の特定の状況に依拠して変化し得るが、一般的ガイドラインとして、この文脈におけるカメラに「接近した」物体は、カメラから約0.5メートル以内、望ましくはカメラのレンズから0.2メートル以内にあるものを指す。物体の検知に応答して、問題に対処するために適切な警報が生成され得る。次に、例として、様々な実施形態を、図を参照しながらより詳細に説明する。 As described above, one of the goals of various embodiments of the present invention is to be able to automatically detect an object close to the lens and / or some action on the camera so that false alarms can be prevented. It is to be instructed that (for example, removal of obstacles) is necessary. The present invention derives from the general principle that objects close to the lens of a camera look different, that is, they will have different intensities in the image when illuminated from different angles. Therefore, when two images are recorded by a camera and the images are captured using IR illumination from different angles, the objects in the image look different (ie, have different intensities in the acquired image). ) Will be. Therefore, it is possible to conclude whether or not there is an object close to the lens by comparing the acquired images and looking for the local intensity difference between the acquired images in particular. What is considered an "approaching" object can change depending on the particular circumstances at hand, but as a general guideline, an object "approaching" to a camera in this context is within about 0.5 meters of the camera. , Desirably within 0.2 meters of the camera lens. Appropriate alarms can be generated to address the problem in response to object detection. Next, as an example, various embodiments will be described in more detail with reference to the figures.

図1は、一実施形態による、レンズに接近して物体が存在するかどうかを判定するための方法100を示す流れ図である。方法100は、レンズに接近して配置された物体を効率的に検知するために、必要に応じて様々な間隔で自動的に実行され得る。図1に見られるように、方法100は、第1の赤外線照明光源を活性化することによって始まる(ステップ102)。これは図3において概略的に示されており、図3は第1の赤外線照明光源302が活性化された状況で監視カメラ300を概略的に示すものである。一般的には、赤外線照明光源に含まれるいくつかのIR LEDは、シーンを監視するために使用されるほとんどのカメラにおいて普通のものである。しかしながら、本発明とともに使用され得るタイプの照明器は、IR LEDばかりでなく、レーザダイオードなどの他のタイプの照明器も使用され得る。 FIG. 1 is a flow chart showing a method 100 for determining whether or not an object exists in close proximity to a lens according to an embodiment. Method 100 can be automatically performed at various intervals as needed to efficiently detect objects placed close to the lens. As seen in FIG. 1, method 100 begins by activating a first infrared illumination source (step 102). This is schematically shown in FIG. 3, which schematically shows the surveillance camera 300 in a situation where the first infrared illumination light source 302 is activated. In general, some IR LEDs included in infrared illumination sources are common in most cameras used to monitor scenes. However, the type of illuminator that can be used with the present invention is not limited to IR LEDs, but other types of illuminators such as laser diodes can also be used.

次に、ステップ104において第1の画像が取り込まれる。この画像は、図3において、画像#1、304として概略的に示されている。画像は、一般的には、たとえばCMOSセンサをロールシャッタ技術と組み合わせて使用して、カメラ300によって、通常の動作中に使用されるのと同一のタイプの画像取り込みを使用して取り込まれる。 Next, in step 104, the first image is captured. This image is schematically shown in FIG. 3 as images # 1, 304. Images are generally captured by the camera 300 using, for example, a CMOS sensor in combination with roll shutter technology, using the same type of image capture used during normal operation.

第1の画像が取り込まれると、第1の赤外線照明光源302がオフにされ、第2の赤外線照明光源306がオンにされる(ステップ106)。一般的には、第1の赤外線照明光源302と第2の赤外線照明光源306は、2つの逆の角度から物体を照明し得るように、レンズ301の反対側(たとえば頂部と底部または左側と右側など)に配置される。しかしながら、これは必要条件ではなく、第1の赤外線照明光源302と第2の赤外線照明光源306の間のより小さい角距離があり得ることに留意されたい。1つまたは複数のIR LEDは、第1のグループ302と第2のグループ306の両方の一部でもあり得る。さらに、図3では第1の赤外線照明光源302と第2の赤外線照明光源306はカメラ300の中で一体化されているように示されているが、カメラ300自体の外側(たとえば両側)に置かれた別個のユニットでもあり得ることに留意されたい。第1の画像304が取得されたのと同様に、第2の赤外線照明光源をオンにした状態で第2の画像308が取得される(ステップ108)。 When the first image is captured, the first infrared illumination light source 302 is turned off and the second infrared illumination light source 306 is turned on (step 106). In general, the first infrared illumination light source 302 and the second infrared illumination light source 306 are on opposite sides of the lens 301 (eg, top and bottom or left and right) so that they can illuminate an object from two opposite angles. Etc.). However, it should be noted that this is not a requirement and there may be a smaller angular distance between the first infrared illumination light source 302 and the second infrared illumination light source 306. The one or more IR LEDs can also be part of both the first group 302 and the second group 306. Further, in FIG. 3, the first infrared illumination light source 302 and the second infrared illumination light source 306 are shown to be integrated in the camera 300, but are placed outside (for example, both sides) of the camera 300 itself. Note that it can also be a separate unit. The second image 308 is acquired with the second infrared illumination light source turned on, just as the first image 304 was acquired (step 108).

最後に、レンズに接近して物体が存在するかどうかを判定するために画像分析310が実施される(ステップ110)。この画像分析310は物体自体の実際の奥行きには関係せず、レンズに接近して物体があるかどうかを判定することにのみ関するものであることに留意されたい。奥行き判定には一般的にはかなりのデータ処理が必要とされるので、これは重要な利点である。本発明の様々な実施形態のために必要なコンピューティングリソースは比較的小さいので、たとえばカメラ自体など、大きなコンピューティングリソースを利用することができない環境でも本発明を実施することが可能になる。加えて、コンピューティングリソース要件が低いので、カメラの全体的な消費電力の低減が可能になる。これは、熱を低減するためばかりでなく、カメラの電力供給がイーサネット規格に従って利用可能な電力によって制限されるので、LEDが夜間に使用されるときにも重要なことである。 Finally, image analysis 310 is performed to determine if an object is present in close proximity to the lens (step 110). It should be noted that this image analysis 310 is not related to the actual depth of the object itself, but only to determine if there is an object in close proximity to the lens. This is an important advantage as depth determination generally requires considerable data processing. Since the computing resources required for various embodiments of the present invention are relatively small, it is possible to carry out the present invention even in an environment where a large computing resource cannot be used, such as a camera itself. In addition, the low computing resource requirements allow for a reduction in the overall power consumption of the camera. This is important not only to reduce heat, but also when the LEDs are used at night, as the power supply of the camera is limited by the available power according to the Ethernet standard.

一実施形態では、画像分析310は以下のように作動する。最初に、2つの画像間の全体的な強度差が計算され、かつ補償される。そのような全体的な強度差は、たとえば露光差またはIR LEDの強度差に起因し得るものである。この全体的な強度差は画像におけるすべての画素に関して同一であり、全体的な強度差を一様にするために画像の一方に全体的な強度差を加算することによって補償され得る。 In one embodiment, the image analysis 310 operates as follows. First, the overall intensity difference between the two images is calculated and compensated. Such an overall intensity difference can be due to, for example, an exposure difference or an IR LED intensity difference. This overall intensity difference is the same for all pixels in the image and can be compensated by adding the overall intensity difference to one of the images to make the overall intensity difference uniform.

次に、第1の画像304と第2の画像308の間に何らかの局所的強度差パターンがあるかどうかが判定される。違った風に表現すれば、画像間で、いくつかの領域において強度が他の領域と異なるかどうかが判定される。そのような局所的パターンが存在する場合には、これは接近した物体の存在の指示である。いくつかの実施形態では、この分析だけで、接近した物体が存在すると判定され得る。他の実施形態では、この分析は、より高度な分析が必要であり得るという指示として働き得、たとえば、物体のタイプを識別するために、判定された局所的パターンが参照強度差パターンと比較される。この画像分析に基づいて、カメラシステムのユーザまたは何人かの整備班に対して警報が生成され得る。あるいは、警報は、たとえばレンズに接近した領域からクモの巣を除去するために、ワイパ、振動、ノイズなど、自動システムに対するトリガとして働くことができる。多くのそのような変形形態は当業者によって構想され得るものである。 Next, it is determined whether or not there is any local intensity difference pattern between the first image 304 and the second image 308. Expressed differently, it is determined between images whether the intensity in some areas is different from that in other areas. If such a local pattern is present, this is an indication of the presence of an approaching object. In some embodiments, this analysis alone may determine the presence of an approaching object. In other embodiments, this analysis can serve as an indication that a more sophisticated analysis may be required, eg, to identify the type of object, the determined local pattern is compared to the reference intensity difference pattern. NS. Based on this image analysis, alerts can be generated for users of the camera system or some maintenance team. Alternatively, the alarm can act as a trigger for an automated system, such as wipers, vibrations, noise, etc., to remove spider webs from areas close to the lens, for example. Many such variants can be envisioned by those skilled in the art.

多くのカメラにおいて、(大抵の場合、家屋の日除けが窓の上に突き出るのに類似して)カメラのハウジングの一部がレンズの上および/または横に一定距離だけ突出し、天候保護として働く。全体的に、このカメラハウジングの突起は、レンズによって取り込まれた画像には示されない。しかしながら、第1の赤外線照明光源および第2の赤外線照明光源が照らされるとき、光が突起からはね返ることがあり、これによって、第1の照明光源および第2の照明光源が活性化された状況で記録された2つの画像の間に、弱いが安定した強度差が生じる。この差は、完全な暗室の中で、レンズに接近した物体なしで各照明光源を活性化して2つの較正画像を記録し、次いでこれらの較正画像をカメラに保存することによって対処され得る。後にこのカメラが使用されて第1の画像および第2の画像を登録するとき、上記で説明された画像処理を実行する前に、最初に、それぞれの画像からこれら2つの較正画像の各々が差し引かれ得る。このように、カメラハウジングの構成の結果として生じる強度差を考慮に入れることができる。 In many cameras, a portion of the camera's housing (usually similar to a house awning protruding above a window) projects a certain distance above and / or to the side of the lens, acting as weather protection. Overall, the protrusions on this camera housing are not shown in the image captured by the lens. However, when the first and second infrared illumination sources are illuminated, the light may bounce off the protrusions, which activates the first and second illumination sources. There is a weak but stable intensity difference between the two recorded images. This difference can be addressed by activating each illumination source and recording two calibrated images in a completely dark room without an object close to the lens, and then storing these calibrated images in the camera. Later, when this camera is used to register the first and second images, each of these two calibration images is first deducted from each image before performing the image processing described above. It can be. Thus, the strength difference resulting from the configuration of the camera housing can be taken into account.

図2は、異なる実施形態による、レンズに接近して物体が存在するかどうかを判定するための方法200を示す流れ図である。図2では、ステップ201において、まず第1に最初の画像が取り込まれる。シーンが暗いとき(たとえば夜間)は両方のIR照明光源をオンにして、シーンが明るいとき(たとえば昼間)は両方のIR照明光源をオフにして、最初の画像が取り込まれる。次いで、図1を参照しながら上記で説明されたステップ102〜108に対応するやり方で、ステップ202〜208が実行される。ステップ208において第2の画像を取得した後に、ステップ209において最後の画像が取得される。この最後の画像も、最初の画像と同様に、シーンが暗いか明るいかということに依拠して、両方のIR照明光源をオンまたはオフにして取り込まれる。 FIG. 2 is a flow chart showing a method 200 for determining whether or not an object is present in close proximity to a lens according to a different embodiment. In FIG. 2, in step 201, first, the first image is captured. When the scene is dark (eg at night), both IR illumination sources are turned on, and when the scene is bright (eg, daytime), both IR illumination sources are turned off to capture the first image. Steps 202-208 are then performed in a manner corresponding to steps 102-108 described above with reference to FIG. After acquiring the second image in step 208, the final image is acquired in step 209. This last image, like the first image, is captured with both IR illumination sources turned on or off, depending on whether the scene is dark or bright.

ステップ210の画像分析はステップ110の画像分析に類似であるが、重要な差異が1つある。ステップ201で取り込まれた最初の画像は、ステップ110において説明された画像分析に加えて、ステップ209で取り込まれた最後の画像と比較される。両方のIR照明光源をオンまたはオフにして取り込まれたこれらの画像が互いに異なる場合には、これは第1の画像および第2の画像の取り込み中にシーンに恐らく動きがあったという指示である。すなわち、第1の画像と第2の画像を比較したとき検知された何らかの差は、恐らく、実際にレンズに接近した物体によるものではなく、カメラが取り込んだシーンにおける動きによるものである。したがって、最初の画像と最後の画像を取り込んで、第1の画像と第2の画像の取り込みの両側で第1の画像と第2の画像を比較することは、第1の画像と第2の画像を比較することが実際に有効であるとき、取得された結果の、優れた追加の「検証」として役立ち得る。 The image analysis in step 210 is similar to the image analysis in step 110, with one important difference. The first image captured in step 201 is compared to the last image captured in step 209, in addition to the image analysis described in step 110. If these images captured with both IR illumination sources turned on or off are different from each other, this is an indication that the scene was probably in motion during the capture of the first and second images. .. That is, any difference detected when comparing the first image and the second image is probably due to the movement in the scene captured by the camera, not due to the object actually approaching the lens. Therefore, capturing the first and last images and comparing the first and second images on both sides of the first and second image capture is a first and second image. When comparing images is actually useful, it can serve as a good additional "verification" of the obtained results.

説明は2つの画像および2つのIR照明光源に的を絞っているが、同一の概念が任意数の画像および任意数のIR照明光源に拡張され得ることに留意されたい。所与の状況においていくつの画像またはIR照明光源を使用するべきかの正確な選択は、当業者の技量の範囲内に十分に入るものである。 Although the description focuses on two images and two IR illumination sources, it should be noted that the same concept can be extended to any number of images and any number of IR illumination sources. The exact choice of how many images or IR illumination sources should be used in a given situation is well within the skill of one of ordinary skill in the art.

さらに、前述のように単一の第1の画像、単一の第2の画像などと取り込むのではなく、いくつかの実装形態では、複数の短期間の露光画像が取り込まれ、次いで互いに加算されて第1の画像および第2の画像をそれぞれ形成する。これは、画像の中の考慮に入れるべき動きによる強度差を認めるという点で有益である。たとえば、カメラが海を見渡しているか、またはカメラの視野の範囲内で樹木が風で動いている可能性がある。これらのタイプの動きの影響はこのタイプのセットアップで軽減され得、この場合、単一の画像ではなくいくつかの短期間の露光画像が採用される。 Further, instead of capturing a single first image, a single second image, etc. as described above, in some implementations, multiple short-term exposed images are captured and then added to each other. The first image and the second image are formed respectively. This is useful in that it allows for intensity differences due to movement that should be taken into account in the image. For example, the camera may be overlooking the ocean, or trees may be moving in the wind within the camera's field of view. The effects of these types of motion can be mitigated with this type of setup, in which case several short exposure images are employed rather than a single image.

当業者には認識されるように、本発明の態様は、システム、方法またはコンピュータプログラム製品として具現され得るものである。それゆえに、本発明の態様は、全面的にハードウェアの実施形態、全面的にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形を採用してよく、これらのすべてが、本明細書では、一般に「回路」、「モジュール」または「システム」として参照されることがある。その上、本発明の態様は、コンピュータ可読プログラムコードを組み入れた1つまたは複数のコンピュータ可読媒体の中に具現されたコンピュータプログラム製品の形態を採用することがある。 As will be appreciated by those skilled in the art, aspects of the invention can be embodied as systems, methods or computer program products. Therefore, aspects of the invention are entirely hardware embodiments, entirely software embodiments (including firmware, resident software, microcode, etc.) or combinations of software and hardware embodiments. Forms may be adopted, all of which are commonly referred to herein as "circuits," "modules," or "systems." Moreover, aspects of the invention may employ the form of a computer program product embodied in one or more computer readable media incorporating computer readable program code.

1つまたは複数のコンピュータ可読媒体の任意の組合せが利用され得る。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体でよい。コンピュータ可読記憶媒体は、これだけではないが、たとえば、電子、磁気、光、電磁気、赤外線、または半導体のシステム、装置、またはデバイス、あるいは上記のものの任意の適切な組合せであり得る。コンピュータ可読記憶媒体のより具体的な例(非網羅的なリスト)は、1つまたは複数のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、消去可能プログラム可能読取り専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスクを使う読取り専用メモリ(CD−ROM)、光記憶デバイス、磁気記憶デバイス、または上記のものの任意の適切な組合せを含むことになる。この文献の文脈では、コンピュータ可読記憶媒体は、命令を実行するシステム、装置、またはデバイスによって、またはこれらに関連して使用されるプログラムを含むかまたは記憶することができる任意の有形の媒体であり得る。 Any combination of one or more computer-readable media may be utilized. The computer-readable medium may be a computer-readable signal medium or a computer-readable storage medium. Computer-readable storage media can be, but are not limited to, for example, electronic, magnetic, optical, electromagnetic, infrared, or semiconductor systems, devices, or devices, or any suitable combination of the above. More specific examples (non-exhaustive lists) of computer-readable storage media are electrical connections with one or more wires, portable computer disksets, hard disks, random access memory (RAM), read-only memory (ROM), Includes erasable programmable read-only memory (EPROM or flash memory), fiber optics, read-only memory with portable compact disks (CD-ROM), optical storage devices, magnetic storage devices, or any suitable combination of the above. It will be. In the context of this document, a computer-readable storage medium is any tangible medium that can contain or store programs used by, or in connection with, a system, device, or device that executes instructions. obtain.

コンピュータ可読信号媒体が含み得る伝播されるデータ信号には、たとえばベースバンドにおいて、または搬送波の一部として、コンピュータ可読プログラムコードが具現されている。そのような伝播される信号は、これだけではないが、電磁気、光、またはこれらの任意の適切な組合せを含む種々の形態のうち任意のものを採用し得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体でなく、命令を実行するシステム、装置、またはデバイスによって、またはこれらに関連して使用されるプログラムを、通信する、伝播させる、または搬送することができる任意のコンピュータ媒体でよい。 The propagated data signals that a computer-readable signal medium may contain embody computer-readable program code, eg, in baseband or as part of a carrier wave. Such propagated signals may employ, but are not limited to, any of a variety of forms including electromagnetic, optical, or any suitable combination thereof. A computer-readable signal medium is not a computer-readable storage medium, but any program that can communicate, propagate, or carry programs used by, or in connection with, a system, device, or device that executes instructions. Computer media may be used.

コンピュータ可読媒体に組み入れられたプログラムコードは、無線、ワイヤ線、光ファイバケーブル、RFなど、または上記の任意の適切な組合せを含むがこれらには限定されない任意の適切な媒体を使用して伝送され得る。本発明の態様に関する動作を実行するためのコンピュータプログラムコードは、Java、Smalltalk、C++等のオブジェクト指向のプログラム言語、および「C」プログラム言語または類似のプログラム言語など従来の手続き型プログラミング言語を含む1つまたは複数のプログラム言語の任意の組合せで書かれてよい。プログラムコードは、全面的にユーザのコンピュータで、部分的にユーザのコンピュータで、スタンドアロンのソフトウェアパッケージとして実行してよく、部分的にユーザのコンピュータで、また部分的に遠隔コンピュータで、あるいは全面的に遠隔コンピュータまたはサーバで実行してもよい。後者のシナリオでは、遠隔コンピュータは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続されてよく、または(たとえばインターネットサービスプロバイダを使用してインターネットを通じて)外部コンピュータに接続されてもよい。 Program code incorporated into a computer-readable medium is transmitted using any suitable medium, including, but not limited to, wireless, wire, fiber optic cable, RF, etc., or any suitable combination described above. obtain. Computer program code for performing operations according to aspects of the invention includes object-oriented programming languages such as Java, Smalltalk, C ++, and conventional procedural programming languages such as the "C" programming language or similar programming languages. It may be written in any combination of one or more programming languages. The program code may be run entirely on the user's computer, partially on the user's computer, as a stand-alone software package, partially on the user's computer, partially on the remote computer, or entirely on the user's computer. It may be run on a remote computer or server. In the latter scenario, the remote computer may be connected to the user's computer through any type of network, including local area networks (LANs) or wide area networks (WANs), or (eg, through the Internet using an Internet service provider). ) May be connected to an external computer.

本発明の態様は、本発明の実施形態による方法、装置(システム)およびコンピュータプログラム製品の流れ図および/またはブロック図を参照しながら説明される。流れ図および/またはブロック図のそれぞれのブロック、ならびに流れ図および/またはブロック図におけるブロックの組合せは、コンピュータプログラム命令によって実施され得る。これらのコンピュータプログラム命令は、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行される命令が、流れ図および/またはブロック図における1つまたは複数のブロックで明示された機能/行為を実施するための手段を生成するように、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されて、マシンを生成する。 Aspects of the present invention will be described with reference to flow diagrams and / or block diagrams of methods, devices (systems) and computer program products according to embodiments of the present invention. Each block of the flow diagram and / or block diagram, and the combination of blocks in the flow diagram and / or block diagram can be implemented by computer program instructions. These computer program instructions are means by which instructions executed by the processor of a computer or other programmable data processing device perform a function / action specified in one or more blocks in a flow diagram and / or block diagram. Is provided to a general purpose computer, a dedicated computer, or the processor of another programmable data processing device to generate a machine.

これらのコンピュータプログラム命令は、コンピュータ可読媒体に記憶された命令が、流れ図および/またはブロック図における1つまたは複数のブロックで明示された機能/行為を実施する命令を含む製品を生成するように、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスに対して特定のやり方で機能するように指令することができるコンピュータ可読媒体にも記憶され得る。 These computer program instructions are such that the instructions stored on a computer-readable medium produce a product containing instructions that perform a function / action specified in one or more blocks in a flow diagram and / or block diagram. It can also be stored on a computer, other programmable data processor, or computer-readable medium that can instruct other devices to function in a particular way.

これらのコンピュータプログラム命令は、コンピュータまたは他のプログラマブル装置で実行される命令が、流れ図および/またはブロック図における1つまたは複数のブロックで明示された機能/行為を実施するためのプロセスをもたらすように、コンピュータ、他のプログラマブル装置、または他のデバイスで実施される一連の動作ステップをもたらすために、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにもロードされ得て、コンピュータで実施されるプロセスを生成する。 These computer program instructions allow instructions executed on a computer or other programmable device to provide a process for performing a function / action specified in one or more blocks in a flow diagram and / or block diagram. Can be loaded into a computer, other programmable data processor, or other device and performed on the computer to result in a series of operational steps performed on the computer, other programmable device, or other device. Create a process.

図における流れ図およびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態の構成、機能性、および動作を図示するものである。この点に関して、流れ図またはブロック図における各ブロックは、命令のモジュール、セグメント、または一部を表し得、これらは、明示された論理機能を実施するための1つまたは複数の実行可能命令を含む。いくつかの代替実装形態では、ブロックにおいて示された機能が、図において示された順序から外れることがある。たとえば、連続して示された2つのブロックが、実際には実質的に同時に実行されることがあり、または包含されている機能性に依拠して時には逆順で実行されることもある。ブロック図および/または流れ図の各ブロックならびにブロック図および/または流れ図におけるブロックの組合せは、明示された機能または行為を実施するかあるいは専用ハードウェアとコンピュータ命令の組合せを実行する専用のハードウェアベースのシステムによって実施され得ることにも留意されたい。 The flow diagram and block diagram in the figure illustrate the configuration, functionality, and operation of a system, method, and possible implementation of a computer program product according to various embodiments of the present invention. In this regard, each block in a flow diagram or block diagram may represent a module, segment, or portion of an instruction, which includes one or more executable instructions for performing an explicit logical function. In some alternative implementations, the features shown in the blocks may be out of the order shown in the figure. For example, two blocks shown in succession may actually be executed at substantially the same time, or sometimes in reverse order depending on the included functionality. Each block in the block diagram and / or flow diagram and the combination of blocks in the block diagram and / or flow diagram is dedicated hardware-based to perform the specified function or action or to perform a combination of dedicated hardware and computer instructions. Also note that it can be implemented by the system.

本発明の様々な実施形態の説明は解説のために提示されたものであるが、網羅的であることまたは開示された実施形態に限定されることは意図されていない。多くの修正形態および変形形態が、説明された実施形態の範囲および精神から逸脱することなく、当業者には明らかになるはずである。したがって、特許請求の範囲に含まれる他の多くの変形形態が当業者によって構想され得る。 Descriptions of the various embodiments of the invention are presented for illustration purposes, but are not intended to be exhaustive or limited to disclosed embodiments. Many modifications and variations should be apparent to those skilled in the art without departing from the scope and spirit of the embodiments described. Therefore, many other variants within the scope of the claims can be envisioned by those skilled in the art.

本明細書で使用した専門用語は、実施形態の原理、市場で見いだされた技術に対する実際の用途または技術的な改善について最もよく説明するように、または他の当業者が本明細書で開示された実施形態を理解することを可能にするように選択されたものである。 The terminology used herein is to best describe the principles of the embodiment, the actual application or technical improvement to the technology found on the market, or is disclosed herein by those of ordinary skill in the art. It has been selected to allow understanding of these embodiments.

300 カメラ
301 レンズ
302 第1の赤外線照明光源
304 第1の画像
306 第2の赤外線照明光源
308 第2の画像
310 画像分析
300 Camera 301 Lens 302 First infrared illumination light source 304 First image 306 Second infrared illumination light source 308 Second image 310 Image analysis

Claims (15)

シーンを監視する画像取り込みデバイス(300)のレンズ(301)に接近した物体の存在を判定するための方法であって、
第1の角度から前記シーンを照明するように配置された第1の赤外線照明光源(302)を活性化することと、
前記画像取り込みデバイス(300)によって第1の画像(304)を取得することと、
前記第1の赤外線照明光源(302)を不活性化し、第2の角度から前記シーンを照明するように配置された第2の赤外線照明光源(306)を活性化することと、
前記画像取り込みデバイス(300)によって第2の画像(306)を取得することと、
前記第1の画像(304)の強度情報と前記第2の画像(306)の強度情報を比較して、前記レンズ(301)に接近した物体の前記存在を判定することと
を含む方法。
It is a method for determining the existence of an object close to the lens (301) of the image capture device (300) that monitors the scene.
Activating a first infrared illumination light source (302) arranged to illuminate the scene from a first angle.
Acquiring the first image (304) by the image capture device (300)
Inactivating the first infrared illumination light source (302) and activating the second infrared illumination light source (306) arranged to illuminate the scene from a second angle.
Acquiring the second image (306) by the image capture device (300)
A method comprising comparing the intensity information of the first image (304) with the intensity information of the second image (306) to determine the presence of an object close to the lens (301).
前記第1の赤外線照明光源(302)および前記第2の赤外線照明光源(306)が基本的に等しい強度および波長で前記物体を照明するように配置されている、請求項1に記載の方法。 The method of claim 1, wherein the first infrared illumination light source (302) and the second infrared illumination light source (306) are arranged to illuminate the object with essentially the same intensity and wavelength. 前記第1の赤外線照明光源(302)および前記第2の赤外線照明光源(306)がそれぞれ1つまたは複数の赤外線発光ダイオードを備える、請求項1または2に記載の方法。 The method according to claim 1 or 2, wherein the first infrared illumination light source (302) and the second infrared illumination light source (306) each include one or more infrared light emitting diodes. 前記第2の赤外線照明光源(306)を不活性化し、第3の角度から前記シーンを照明するように配置された第3の赤外線照明光源を活性化することと、
第3の画像を取得することと、
前記第1の画像(304)の強度情報と、前記第2の画像(308)の強度情報と、前記第3の画像の強度情報とを比較して、前記レンズに接近した物体の前記存在を判定することとをさらに含む請求項1から3のいずれか一項に記載の方法。
Inactivating the second infrared illumination light source (306) and activating the third infrared illumination light source arranged to illuminate the scene from a third angle.
To get a third image and
By comparing the intensity information of the first image (304), the intensity information of the second image (308), and the intensity information of the third image, the presence of the object close to the lens is determined. The method according to any one of claims 1 to 3, further comprising determining.
前記第1の赤外線照明光源(302)と第3の赤外線照明光源を一緒に活性化/不活性化することと、
前記第2の赤外線照明光源(306)と第4の赤外線照明光源を一緒に活性化/不活性化することと
をさらに含み、
前記第1の赤外線照明光源および前記第3の赤外線照明光源が、前記第2の赤外線照明光源および前記第4の赤外線照明光源から基本的に垂直に配置されている、請求項1から3のいずれか一項に記載の方法。
Activating / deactivating the first infrared illumination light source (302) and the third infrared illumination light source together, and
Further including activating / inactivating the second infrared illumination light source (306) and the fourth infrared illumination light source together.
Any of claims 1 to 3, wherein the first infrared illumination light source and the third infrared illumination light source are arranged basically perpendicular to the second infrared illumination light source and the fourth infrared illumination light source. The method described in item 1.
強度情報を比較することが、
前記第1の画像(304)と前記第2の画像(308)の間の全体的な強度差を補償することと、
何らかの局所的強度差が残っているかどうかを判定することと、
局所的強度差があるとの肯定的な判定に応答して、前記レンズに接近した物体の前記存在の指示を提供することと
を含む、請求項1から5のいずれか一項に記載の方法。
Comparing strength information
Compensating for the overall intensity difference between the first image (304) and the second image (308), and
Determining if any local intensity difference remains and
The method of any one of claims 1-5, comprising providing an indication of the presence of an object close to the lens in response to a positive determination that there is a local intensity difference. ..
局所的強度差パターンを参照強度差パターンと比較することと、
前記局所的強度差パターンと前記参照強度差パターンの間に一致があるとき、前記レンズ(301)に接近した物体の前記存在の指示を提供することと
をさらに含む請求項6に記載の方法。
Comparing the local intensity difference pattern with the reference intensity difference pattern,
The method of claim 6, further comprising providing an indication of the presence of an object close to the lens (301) when there is a match between the local intensity difference pattern and the reference intensity difference pattern.
ニューラルネットワークを使用して局所的強度差を評価し、前記レンズ(301)に接近した物体の存否を判定することをさらに含む請求項1から7のいずれか一項に記載の方法。 The method according to any one of claims 1 to 7, further comprising evaluating a local intensity difference using a neural network and determining the presence or absence of an object close to the lens (301). 前記第1の赤外線照明光源(302)と前記第2の赤外線照明光源(306)の両方を使用して前記第1の画像を取り込む前に、最初の画像を取り込むことと、
前記第1の赤外線照明光源(302)と前記第2の赤外線照明光源(306)の両方を使用して前記第2の画像を取り込んだ後に、最後の画像を取り込むことと、
前記最初の画像の強度情報と前記最後の画像の強度情報を比較して、前記シーンの中に動きがあるかどうかを判定することと、
前記シーンの中に動きがないとの判定に応答して、前記レンズ(301)に接近した物体の前記存在の前記判定を検証することと
をさらに含む請求項1から8のいずれか一項に記載の方法。
Capturing the first image before capturing the first image using both the first infrared illumination light source (302) and the second infrared illumination light source (306).
After capturing the second image using both the first infrared illumination light source (302) and the second infrared illumination light source (306), the final image is captured.
By comparing the intensity information of the first image and the intensity information of the last image to determine whether or not there is movement in the scene,
One of claims 1 to 8, further comprising verifying the determination of the presence of an object close to the lens (301) in response to the determination that there is no movement in the scene. The method described.
前記レンズ(301)に接近した物体があるとの肯定的な判定に応答して、カメラ技士に通知を送ること
をさらに含む請求項1から9のいずれか一項に記載の方法。
The method according to any one of claims 1 to 9, further comprising sending a notification to the camera engineer in response to a positive determination that there is an object close to the lens (301).
前記物体が、クモ、昆虫、クモの付属物、および昆虫の付属物のうちの1つまたは複数である、請求項1から10のいずれか一項に記載の方法。 The method according to any one of claims 1 to 10, wherein the object is one or more of a spider, an insect, a spider appendage, and an insect appendage. 前記画像取り込みデバイスによって前記第1の画像(304)を取得し、前記画像取り込みデバイス(300)によって前記第2の画像(308)を取得することが、いくつかの短期間の露光画像を取得して、前記短期間の露光画像をそれぞれ前記第1の画像(304)および前記第2の画像(308)へと組み合わせることを含む、請求項1から11のいずれか一項に記載の方法。 Acquiring the first image (304) by the image capture device and acquiring the second image (308) by the image capture device (300) acquires some short-term exposed images. The method according to any one of claims 1 to 11, further comprising combining the short-term exposed image with the first image (304) and the second image (308), respectively. 前記画像取り込みデバイス(300)によって最初の画像を取得し、前記画像取り込みデバイス(300)によって最後の画像を取得することのそれぞれが、いくつかの短期間の露光画像を取得することと、前記短期間の露光画像をそれぞれ前記最初の画像および前記最後の画像へと組み合わせることとを含む、請求項8から12のいずれか一項に記載の方法。 Acquiring the first image by the image capture device (300) and acquiring the last image by the image capture device (300) each obtains several short-term exposed images and the short-term. The method according to any one of claims 8 to 12, comprising combining the exposed images in between with the first image and the last image, respectively. シーンを監視する画像取り込みデバイス(300)のレンズ(301)に接近した物体の存在を判定するためのシステムであって、
メモリと、
画像取り込みデバイス(300)と、
第1の赤外線照明光源(302)と、
第2の赤外線照明光源(306)と、
プロセッサと
を備え、
前記メモリは命令を含み、前記メモリは、前記プロセッサによって実行されたとき、前記プロセッサに
第1の角度から前記シーンを照明するように配置された前記第1の赤外線照明光源(302)を活性化することと、
前記画像取り込みデバイス(300)によって第1の画像(304)を取得することと、
前記第1の赤外線照明光源(302)を不活性化し、第2の角度から前記シーンを照明するように配置された前記第2の赤外線照明光源(306)を活性化することと、
前記画像取り込みデバイス(300)によって第2の画像(308)を取得することと、
前記第1の画像(304)の強度情報と前記第2の画像(308)の強度情報を比較して、前記レンズ(301)に接近した前記物体の前記存在を判定することとを含む方法を実施させる、システム。
It is a system for determining the existence of an object close to the lens (301) of the image capture device (300) that monitors the scene.
Memory and
Image capture device (300) and
The first infrared illumination light source (302) and
A second infrared illumination light source (306) and
Equipped with a processor
The memory comprises instructions, which, when executed by the processor, activate the first infrared illumination light source (302) arranged to illuminate the scene from a first angle on the processor. To do and
Acquiring the first image (304) by the image capture device (300)
Inactivating the first infrared illumination light source (302) and activating the second infrared illumination light source (306) arranged to illuminate the scene from a second angle.
Acquiring the second image (308) by the image capture device (300)
A method comprising comparing the intensity information of the first image (304) with the intensity information of the second image (308) to determine the presence of the object close to the lens (301). The system to be implemented.
シーンを監視する画像取り込みデバイス(300)のレンズ(301)に接近した物体の存在を判定するためのコンピュータプログラム製品であって、プログラム命令を組み入れられたコンピュータ可読記憶媒体を備え、前記コンピュータ可読記憶媒体自体は一時的な信号ではなく、前記プログラム命令は、
第1の角度から前記シーンを照明するように配置された第1の赤外線照明光源(302)を活性化することと、
前記画像取り込みデバイス(300)によって第1の画像(304)を取得することと、
前記第1の赤外線照明光源(302)を不活性化し、第2の角度から前記シーンを照明するように配置された第2の赤外線照明光源(306)を活性化することと、
第2の画像(308)を取得することと、
前記第1の画像(304)の強度情報と前記第2の画像(308)の強度情報を比較して、前記レンズ(301)に接近した前記物体の前記存在を判定することとを含む方法を実施するようにプロセッサによって実行可能である、コンピュータプログラム製品。
A computer program product for determining the presence of an object close to the lens (301) of an image capture device (300) for monitoring a scene, the computer-readable storage medium including a computer-readable storage medium incorporating program instructions. The medium itself is not a temporary signal, and the program instruction is
Activating a first infrared illumination light source (302) arranged to illuminate the scene from a first angle.
Acquiring the first image (304) by the image capture device (300)
Inactivating the first infrared illumination light source (302) and activating the second infrared illumination light source (306) arranged to illuminate the scene from a second angle.
Acquiring the second image (308) and
A method comprising comparing the intensity information of the first image (304) with the intensity information of the second image (308) to determine the presence of the object close to the lens (301). A computer program product that can be executed by a processor as it does.
JP2020204765A 2019-12-17 2020-12-10 Detection of object approached by monitoring camera Pending JP2021108116A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19217076.9A EP3839908A1 (en) 2019-12-17 2019-12-17 Close object detection for surveillance cameras
EP19217076 2019-12-17

Publications (1)

Publication Number Publication Date
JP2021108116A true JP2021108116A (en) 2021-07-29

Family

ID=68944273

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020204765A Pending JP2021108116A (en) 2019-12-17 2020-12-10 Detection of object approached by monitoring camera

Country Status (6)

Country Link
US (1) US11592404B2 (en)
EP (1) EP3839908A1 (en)
JP (1) JP2021108116A (en)
KR (1) KR20210077600A (en)
CN (1) CN113076791A (en)
TW (1) TW202127862A (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922666B2 (en) * 2021-04-13 2024-03-05 Pixart Imaging Inc. Object presence detection using raw images
US20230177793A1 (en) * 2021-12-02 2023-06-08 Lumileds Llc Led array optimization using artificial neural networks

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2888492B2 (en) 1990-06-12 1999-05-10 オリンパス光学工業株式会社 Distance information output device
JPH0579522U (en) 1992-03-31 1993-10-29 株式会社精工舎 Distance measuring device for camera
JP4650469B2 (en) * 2007-09-26 2011-03-16 住友電気工業株式会社 Imaging apparatus and lens abnormality diagnosis system
JP2009150841A (en) * 2007-12-21 2009-07-09 Sumitomo Electric Ind Ltd Lens abnormality self-diagnosis method, imaging device, lens abnormality self-diagnosis system, and vehicle
CN102445458B (en) * 2011-10-18 2013-07-31 中国科学院合肥物质科学研究院 Method for measuring stain on optical lens
US8993966B2 (en) * 2012-09-26 2015-03-31 Honeywell International Inc. Flame sensor integrity monitoring
US20150355030A1 (en) * 2014-06-04 2015-12-10 Honeywell International Inc. Equipment and method for intensity-temperature transformation of imaging system
US9454820B1 (en) 2015-06-12 2016-09-27 Google Inc. Using a scene illuminating infrared emitter array in a video monitoring camera for depth determination
US9626849B2 (en) * 2015-06-12 2017-04-18 Google Inc. Using scene information from a security camera to reduce false security alerts
CN106706659B (en) * 2016-12-22 2019-09-10 武汉理工光科股份有限公司 Flame detector digitized detection system and method
US20220230216A1 (en) * 2018-07-16 2022-07-21 Accel Robotics Corporation Smart shelf that combines weight sensors and cameras to identify events

Also Published As

Publication number Publication date
KR20210077600A (en) 2021-06-25
CN113076791A (en) 2021-07-06
US20210181122A1 (en) 2021-06-17
TW202127862A (en) 2021-07-16
EP3839908A1 (en) 2021-06-23
US11592404B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
TWI583937B (en) Determining alignment of a beam in an active video smoke detection (avsd) system
KR101378071B1 (en) Farms and artificial fish bank anti-thief monitoring system and method
US20110058037A1 (en) Fire detection device and method for fire detection
JP2021108116A (en) Detection of object approached by monitoring camera
US11062145B2 (en) Camera device for the exterior region of a building
KR101048856B1 (en) Image Intrusion Detection System and Method Using Dot Lighting
US10887562B2 (en) Camera device for the exterior region of a building
WO2014118872A1 (en) Monitor system
JP2013109440A (en) Security camera apparatus
JP3994558B2 (en) Monitoring and warning device
JP5475593B2 (en) Combined sensor
CN111723598A (en) Machine vision system and implementation method thereof
JP5902006B2 (en) Surveillance camera
AU2020103507A4 (en) System and method for crop protection from animals using smart sensors
JPS61127289A (en) Intrusion warning device
JP4091234B2 (en) Image sensor
JP2008160617A (en) Monitoring camera apparatus and monitoring camera system using the same
JP4164762B2 (en) Light source detection device and crime prevention notification device
WO2023180275A1 (en) Security system and method for estimation of intrusion by an object in a space
JP2001266114A (en) Picture sensor
KR20190065036A (en) System and method for protecting crop
WO2002033671A1 (en) Intruder alarm system
KR20190099573A (en) fire alarm system using the camera
ZA200301808B (en) Intruder alarm system.
TW201627954A (en) Electronic fence trespass detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230915