JP2013535896A - 熱画像座標を用いた保安用カメラ追跡監視システム及び方法 - Google Patents
熱画像座標を用いた保安用カメラ追跡監視システム及び方法 Download PDFInfo
- Publication number
- JP2013535896A JP2013535896A JP2013520678A JP2013520678A JP2013535896A JP 2013535896 A JP2013535896 A JP 2013535896A JP 2013520678 A JP2013520678 A JP 2013520678A JP 2013520678 A JP2013520678 A JP 2013520678A JP 2013535896 A JP2013535896 A JP 2013535896A
- Authority
- JP
- Japan
- Prior art keywords
- monitoring
- tracking
- camera
- thermal image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 200
- 238000000034 method Methods 0.000 title claims abstract description 61
- 241000282414 Homo sapiens Species 0.000 claims abstract description 37
- 239000000284 extract Substances 0.000 claims abstract description 9
- 230000036544 posture Effects 0.000 claims description 31
- 238000001931 thermography Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 16
- 238000005286 illumination Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 238000012790 confirmation Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 241000282412 Homo Species 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Toxicology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Alarm Systems (AREA)
Abstract
【課題】簡単なアルゴリズムを用いて監視領域内でヒトを正確に識別し、ヒトの身元を正確に確認することが可能な高解像度の身元確認用映像を獲得することができる保安用カメラ追跡監視システム及び方法を提供することにその目的があるものである。
【解決手段】本発明は熱画像座標を用いた保安用カメラ追跡監視システム及び方法に係り、熱画像カメラによって撮影される熱画像から監視領域内でヒトを識別し、ヒトの位置座標を抽出し、抽出された位置座標に基づいて追跡監視カメラがヒトを追跡して拡大撮影することで、高解像度の身元確認用映像を獲得するように構成される。
【選択図】図５
【解決手段】本発明は熱画像座標を用いた保安用カメラ追跡監視システム及び方法に係り、熱画像カメラによって撮影される熱画像から監視領域内でヒトを識別し、ヒトの位置座標を抽出し、抽出された位置座標に基づいて追跡監視カメラがヒトを追跡して拡大撮影することで、高解像度の身元確認用映像を獲得するように構成される。
【選択図】図５
Description
本発明は保安用カメラ追跡監視システム及び方法に係り、より詳しくは監視領域内でヒトを正確に識別してヒトの身元を正確に確認可能な高解像度の身元確認用映像を獲得することができる保安用カメラ追跡監視システム及び方法に関する。
近年、カメラを用いた多様な形態の監視システムが産業分野に広く活用されている。このようなカメラ監視システムは保安用及び取締用にも積極的に活用されている。
道路上に設置された一部の車両取締用カメラ（例えば、駐停車取締や割りこみ取締用カメラ）の場合、カメラの姿勢制御（撮影方向調整）によって必要な領域を撮影するように設置されているが、現在、特定の場所を撮影して訪問者や侵入者を監視する殆どの保安用監視カメラは特定の距離と画角範囲内の監視領域全体を撮影する全域監視カメラである。
このような全域監視カメラは固定型カメラであり、決められた広い領域を監視するため、解像度の限界を持ち、これにより、全域監視カメラによって撮影された映像からは監視領域内にいるヒトの顔を正確に識別することができない場合が大部分である。
したがって、近来カメラが動的にヒトを追跡するシステムを開発している。
道路上に設置された一部の車両取締用カメラ（例えば、駐停車取締や割りこみ取締用カメラ）の場合、カメラの姿勢制御（撮影方向調整）によって必要な領域を撮影するように設置されているが、現在、特定の場所を撮影して訪問者や侵入者を監視する殆どの保安用監視カメラは特定の距離と画角範囲内の監視領域全体を撮影する全域監視カメラである。
このような全域監視カメラは固定型カメラであり、決められた広い領域を監視するため、解像度の限界を持ち、これにより、全域監視カメラによって撮影された映像からは監視領域内にいるヒトの顔を正確に識別することができない場合が大部分である。
したがって、近来カメラが動的にヒトを追跡するシステムを開発している。
しかし、いまだに追跡技術の完成度が低くて実際に現場に適用するのには無理があり、現在まで開発されたＣＣＤ映像にだけ依存した追跡アルゴリズムによっては、画面で動く対象物があまりにも多様で多いため、人間のみを効果的に追跡することができないことが現実である。
それで、カメラが人間のみを正確に追跡して撮影するようにする技術が要望されており、また監視対象が多数人の場合、多重ターゲットに対する監視の技術開発が切実な実情である。
それで、カメラが人間のみを正確に追跡して撮影するようにする技術が要望されており、また監視対象が多数人の場合、多重ターゲットに対する監視の技術開発が切実な実情である。
従来に知られた追跡に係わる代表的な方法とこれらの技術的欠点を述べると次のようである。
１）背景と対象物体分割の代表的な方法（差分画像アルゴリズム／背景差技法）
−差分画像アルゴリズム（Ｄｉｆｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ａｌｇｏｒｉｔｈｍ）
一定時間だけ引き伸ばされた二つの映像を比較して物体を背景から分離する方法で、固定した背景から動く物体を効果的に検出することが可能である。
図１は差分画像アルゴリズムによって得た対象物体分割映像を示す図である。
−背景差技法（Ｂａｃｋｇｒｏｕｎｄ Ｍｏｄｅｌ）
現在映像以前の毎フレームを検査して基準となる背景映像に現在フレームの影響を付け加える方法で、背景映像生成の際に主に使用する技法である。
・時間的平滑法：以前フレームの画素値平均値を使用
・時間的中間値法：任意の画素において以前のフレームに現れた値を使用
−技術的欠点
動きが少ない場合、物体の検出が不可能であり（背景として認識）、物体の境界が背景に似ている場合、認識誤差が発生し、カメラと背景が同時に動く場合または背景だけ動く場合、背景と物体の分割が不可能である。
１）背景と対象物体分割の代表的な方法（差分画像アルゴリズム／背景差技法）
−差分画像アルゴリズム（Ｄｉｆｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ａｌｇｏｒｉｔｈｍ）
一定時間だけ引き伸ばされた二つの映像を比較して物体を背景から分離する方法で、固定した背景から動く物体を効果的に検出することが可能である。
図１は差分画像アルゴリズムによって得た対象物体分割映像を示す図である。
−背景差技法（Ｂａｃｋｇｒｏｕｎｄ Ｍｏｄｅｌ）
現在映像以前の毎フレームを検査して基準となる背景映像に現在フレームの影響を付け加える方法で、背景映像生成の際に主に使用する技法である。
・時間的平滑法：以前フレームの画素値平均値を使用
・時間的中間値法：任意の画素において以前のフレームに現れた値を使用
−技術的欠点
動きが少ない場合、物体の検出が不可能であり（背景として認識）、物体の境界が背景に似ている場合、認識誤差が発生し、カメラと背景が同時に動く場合または背景だけ動く場合、背景と物体の分割が不可能である。
２）移動物体の検出及び追跡（特徴基盤方法／領域基盤方法）
−特徴基盤方法
・光流（Ｏｐｔｉｃａｌ Ｆｌｏｗ）を用いた方法：短時間内に得られた連続した二つのフレームに対して空間的変化だけ存在し画素自体の光エネルギーは保存される特徴を用いた方法。
・直線を用いた方法：一つの映像において直線の数が少なくて線自体がはっきりした特徴を持っているので、潜在的な整合の場合の数を減らすことができる。
・隅点（Ｃｏｒｎｅｒ Ｐｏｉｎｔ）を用いた方法：特徴フロー基盤情報で移動物体の形態を特徴づけて物体追跡
−領域基盤方法：一映像において特徴点を含んだ一定領域の映像断片を持って次の映像との相関関係（Ｃｏｒｒｅｌａｔｉｏｎ）を用いて捜す方法
−ブロック整合法（Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ Ｍｅｔｈｏｄ）：相関関係は画素基準の平均二乗の差分、絶対値の差分の和を持って比較する方法
図２は物体の特徴点抽出を用いた追跡方法を示す図である。
−技術的欠点
特徴またはブロックの整合のための演算処理が複雑であり（実時間処理引き延ばし）、物体検出のためにシステム上で物体特徴に関するデータベース化が要求される。
−特徴基盤方法
・光流（Ｏｐｔｉｃａｌ Ｆｌｏｗ）を用いた方法：短時間内に得られた連続した二つのフレームに対して空間的変化だけ存在し画素自体の光エネルギーは保存される特徴を用いた方法。
・直線を用いた方法：一つの映像において直線の数が少なくて線自体がはっきりした特徴を持っているので、潜在的な整合の場合の数を減らすことができる。
・隅点（Ｃｏｒｎｅｒ Ｐｏｉｎｔ）を用いた方法：特徴フロー基盤情報で移動物体の形態を特徴づけて物体追跡
−領域基盤方法：一映像において特徴点を含んだ一定領域の映像断片を持って次の映像との相関関係（Ｃｏｒｒｅｌａｔｉｏｎ）を用いて捜す方法
−ブロック整合法（Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ Ｍｅｔｈｏｄ）：相関関係は画素基準の平均二乗の差分、絶対値の差分の和を持って比較する方法
図２は物体の特徴点抽出を用いた追跡方法を示す図である。
−技術的欠点
特徴またはブロックの整合のための演算処理が複雑であり（実時間処理引き延ばし）、物体検出のためにシステム上で物体特徴に関するデータベース化が要求される。
３）ステレオ（立体）基盤物体追跡（光ＪＴＣ追跡／ＢＰＥＪＴＣ追跡）
左／右側ステレオ入力映像から追跡物体までの距離情報を獲得し、座標で両側カメラを制御して物体を追跡する技術である。
−光ＪＴＣ（Ｊｏｉｎｔ Ｔｒａｎｓｆｏｒｍ Ｃｏｒｒｅｌａｔｏｒ）追跡システム：二つの標的映像信号を光ＪＴＣ入力平面に位置させてフレーム間の位置変化測定に基づいて映像の移動軌跡追跡
−ＢＰＥＪＴＣ（Ｂｉｎａｒｙ Ｐｈａｓｅ Ｅｘｔｒａｃｔｉｏｎ ＪＴＣ）追跡システム：類似した映像に対して優れた判別力を持つ二進位相形態の光ＪＴＣ利用
図３はステレオ方式を用いた追跡方法を示す図である。
左／右側ステレオ入力映像から追跡物体までの距離情報を獲得し、座標で両側カメラを制御して物体を追跡する技術である。
−光ＪＴＣ（Ｊｏｉｎｔ Ｔｒａｎｓｆｏｒｍ Ｃｏｒｒｅｌａｔｏｒ）追跡システム：二つの標的映像信号を光ＪＴＣ入力平面に位置させてフレーム間の位置変化測定に基づいて映像の移動軌跡追跡
−ＢＰＥＪＴＣ（Ｂｉｎａｒｙ Ｐｈａｓｅ Ｅｘｔｒａｃｔｉｏｎ ＪＴＣ）追跡システム：類似した映像に対して優れた判別力を持つ二進位相形態の光ＪＴＣ利用
図３はステレオ方式を用いた追跡方法を示す図である。
−技術的欠点
背景雑音が多いかあるいは左右側映像の背景が互いに異なる場合、そしてカメラの移動による背景変化が発生する場合、追跡が不可能である。
背景雑音が多いかあるいは左右側映像の背景が互いに異なる場合、そしてカメラの移動による背景変化が発生する場合、追跡が不可能である。
前述したように、従来の追跡方法の欠点を整理すれば、一番目、従来の追跡方法は動きを感知して追跡する方法を使うものであり、二番目、フレーム間の差を用いて動きを追跡する方法を使うものである。
これらの方法は、結論として数学的アプローチを使うかあるいはアルゴリズムがあまり複雑であるため、実時間具現が容易でなく、動きがない場合、ヒトの認識及び追跡が不可能である。
これらの方法は、結論として数学的アプローチを使うかあるいはアルゴリズムがあまり複雑であるため、実時間具現が容易でなく、動きがない場合、ヒトの認識及び追跡が不可能である。
図４は従来に知られた追跡計算式のアルゴリズムの一例を示したもので、Ｌはガウシアンブラリング映像を、Ｇはガウシアン関数を、ＤはＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｉａｎ）関数を、ｍは特徴点の大きさを、θは方向ベクターをそれぞれ示す。
したがって、簡単な追跡計算式を用いて実時間で正確に対象物体を識別することができるようにする技術開発が必要である。
したがって、簡単な追跡計算式を用いて実時間で正確に対象物体を識別することができるようにする技術開発が必要である。
したがって、本発明は前記のような問題点を解決するためになされたもので、簡単なアルゴリズムを用いて監視領域内でヒトを正確に識別し、ヒトの身元を正確に確認可能な高解像度の身元確認用映像を獲得することができる保安用カメラ追跡監視システム及び方法を提供することにその目的がある。
前記のような目的を達成するために、本発明は、予め設定された監視領域を撮影して熱画像として提供する赤外線熱画像カメラと；前記監視領域内でターゲットとなるヒトを追跡及び拡大撮影する追跡監視カメラと；前記監視領域内で追跡監視カメラがターゲットとなるヒトを追跡するように前記追跡監視カメラの姿勢制御を行う姿勢制御装置と；前記赤外線熱画像カメラが提供する監視領域の熱画像を臨界値を基準として二進化する映像処理を行って監視領域のヒトを識別しヒトの位置座標を抽出し、抽出された位置座標に基づいて前記姿勢制御装置の駆動を制御しながら、追跡監視カメラによって撮影されるターゲットの身元確認用映像を受けて保存する制御システムと；を含んでなる、熱画像座標を用いた保安用カメラ追跡監視システムを提供する。
好ましい実施形態において、同一の前記監視領域を撮影し、撮影された映像を制御システムに伝送して全状況確認用可視映像が録画されるようにする全域監視カメラをさらに含むことを特徴とする。
また、前記それぞれのカメラの夜間撮影が可能となるように赤外線照明を提供する赤外線照明装置をさらに含むことを特徴とする。
また、追跡監視カメラ用の赤外線照明装置は追跡監視カメラに設置されて一体的に動くように備えられることを特徴とする。
また、前記監視領域内で多重ターゲットに対して身元確認用映像の同時または順次獲得が可能となるように、複数の追跡監視カメラと、それぞれの追跡監視カメラの姿勢制御のための複数の個別姿勢制御装置とが備えられることを特徴とする。
そして、本発明は、さらに、赤外線熱画像カメラが設定された監視領域を撮影して制御システムに提供する過程と；制御システムが前記赤外線熱画像カメラから提供される監視領域の熱画像を臨界値を基準として二進化する映像処理を行って監視領域のヒトを識別しヒトの位置座標を抽出する過程と；制御システムが抽出された位置座標に基づいて姿勢制御装置の駆動を制御する過程と；前記姿勢制御装置の駆動によって追跡監視カメラが監視領域内でターゲットとなるヒトを追跡して拡大撮影する過程と；制御システムが追跡監視カメラによって撮影されるターゲットの身元確認用映像を受けて保存する過程と；を含んでなる、熱画像座標を用いた保安用カメラ追跡監視方法を提供する。
好ましい実施形態において、全域監視カメラが同一の前記監視領域を撮影し、撮影された映像を制御システムに伝送して全状況確認用可視映像が録画されるようにする過程をさらに含むことを特徴とする。
また、前記制御システムが熱画像から監視領域内の複数のヒトを識別し、各ヒトの位置座標を抽出し、抽出された位置座標に基づいて各ヒトに対して姿勢制御装置の駆動及び追跡監視カメラの作動が順次に行われながら多重ターゲットに対する身元確認用映像が順次に獲得されるようにすることを特徴とする。
また、複数の追跡監視カメラと各追跡監視カメラの姿勢制御のための複数の個別姿勢制御装置が備えられ、前記監視領域内で多重ターゲットに対して身元確認用映像が同時または順次に獲得されるようにすることを特徴とする。
また、前記ターゲットの身元確認が可能な顔部位の拡大撮影のために、前記制御システムが姿勢制御装置によって追跡監視カメラの姿勢を制御し、識別されたヒトにあたる全領域の中で予め決まった割合の上部領域が追跡監視カメラによって拡大撮影されるように姿勢制御することを特徴とする。
したがって、本発明による保安用カメラ追跡監視システム及び方法によれば、臨界値を基準として監視領域の熱画像を二進化する簡単なアルゴリズムを用いて監視領域のヒトを識別した後、識別されたヒトをターゲットとして追跡監視カメラがターゲットを追跡及び拡大撮影することにより高解像度の身元確認用映像を獲得することができるようになる。
また、本発明によれば、全域監視カメラとヒトの識別のためのセンサーの役目の熱画像カメラ、熱画像カメラの熱画像情報から識別されたヒトを追跡及び拡大撮影する追跡監視カメラが組み合せられてシステムが構成されることができるので、全域監視カメラと追跡監視カメラが相互間の欠点を補ってもっと効果的な監視が可能となる。
また、本発明によれば、追跡監視カメラが熱画像から取得される位置座標に基づいて多くのターゲットに対する順次追跡及び拡大撮影を遂行することができるので、多重ターゲットの効果的な監視が可能であり、複数の追跡監視カメラと姿勢制御装置を用いる場合、同時に多重ターゲットの監視が可能となる。
また、このような本発明は映画産業やスポーツ（例えば、アイスリンクなど）の分野に適用すれば、特定の対象を追跡して拡大撮影するのに効果的に活用できる。
以下、添付図面を参照して本発明の実施形態について、本発明が属する技術分野で通常の知識を持った者が容易に実施することができるように、詳細に説明する。
本発明は、熱画像カメラによって撮影される熱画像から監視領域内でヒトを識別し、ヒトの位置座標を抽出し、抽出された位置座標に基づいて追跡監視カメラがヒトを追跡及び拡大撮影することにより、高解像度の身元確認用映像を獲得するように構成される熱画像座標を用いた保安用カメラ追跡監視システム及び方法に関する。
図５は本発明による保安用カメラ追跡監視システム本体の構成を示す斜視図、図６は本発明による保安用カメラ追跡監視システムの構成を示すブロック図である。
また、図７及び図８は本発明者が遂行したシミュレーションの解釈結果を示す図である。
また、図９は本発明において熱画像を用いたヒトの認識方法を説明する図、図１０は本発明による保安用カメラ追跡監視過程を示す例示図、図１１は本発明による追跡監視システムにおいて複数の追跡監視カメラ及び姿勢制御装置が装着されたシステムの構成図である。
本発明は、解像度の限界のため、従来の保安監視カメラによっては広い全域範囲監視でヒトの顔を識別しにくかった問題点を解決するために、熱画像の位置座標を用いた動的追跡監視カメラのズーム制御追跡方式を用いるように構成される。
すなわち、熱画像から取得されるヒトの位置座標及び大きさの情報を参照し、動的追跡監視カメラが速い姿勢制御でターゲットを追跡しながら集中ズーミング（Ｚｏｏｍｉｎｇ）して高解像度の身元確認用映像を獲得するようにすることにより、効果的なターゲットの追跡及び顔認識が可能となる。
すなわち、熱画像から取得されるヒトの位置座標及び大きさの情報を参照し、動的追跡監視カメラが速い姿勢制御でターゲットを追跡しながら集中ズーミング（Ｚｏｏｍｉｎｇ）して高解像度の身元確認用映像を獲得するようにすることにより、効果的なターゲットの追跡及び顔認識が可能となる。
このために、本発明の実施形態のカメラ追跡監視システムは３種のカメラを組み合せて構成される。その構成を述べると、図５及び図６に示したように、本発明の実施形態によるカメラ追跡監視システムは、全監視領域に対してヒトの識別及び位置座標獲得のためのセンサーの役目の熱画像カメラ１０、ターゲットとなるヒトを追跡及び拡大撮影して身元確認用映像を獲得する追跡監視カメラ２０、全監視領域を撮影して全状況確認用可視映像を獲得する全域監視カメラ４０、前記追跡監視カメラ２０の姿勢を高速制御する姿勢制御装置３０、及びそれぞれのカメラ１０、２０、４０から獲得された映像信号を処理する制御システム５０を含んでなる。
これに加え、それぞれのカメラ１０、２０、４０に夜間撮影が可能となるように赤外線照明を提供する赤外線照明装置６０、７０が付け加わえることができ、例示のように動的に姿勢制御される追跡監視カメラ２０に設置されて一体的に動く追跡監視カメラ用赤外線照明装置６０と、同一監視領域を対象として全域監視を行う熱画像カメラ１０と全域監視カメラ４０に照明を提供する全域監視用赤外線照明装置７０とを設けることができる。
前記構成において、全域監視カメラ４０が広い監視領域を録画する機能を担当し、全域監視カメラ４０と同一画角に設定された熱画像カメラ１０が監視領域内のターゲットとなる熱源を監視する機能を担当し、熱画像座標（熱画像から取得される監視領域内の熱源の位置座標）に基づいて動的追跡監視カメラ２０が姿勢制御装置３０によって姿勢制御されながらターゲットを追跡及びズーミング撮影する機能を担当するようになる。
要するに、全域監視に全域監視カメラ４０と熱画像カメラ１０を同時に用い、全域監視カメラ４０によって全状況確認用可視映像を獲得し、熱画像カメラ１０によって単にヒトの識別及び位置座標を獲得し、全監視領域内でヒトのみを効果的に捜し出す要素として熱画像カメラ１０を用い、熱画像カメラ１０の熱画像から得られるターゲットの座標を用いて追跡監視カメラ２０がターゲットを追跡して顔面データを獲得するようにするものである。
このように、本発明の実施形態によれば、監視領域に対してターゲットとなるヒトを感知する広範囲監視センサーの役目をする熱画像カメラ１０と、ターゲットの追跡及びズーミング（拡大）、高解像度の映像取得のための追跡監視カメラ２０と、監視領域内の全状況の確認のための映像を録画するための全域監視カメラ４０とを組み合せた新方式の映像追跡技術を適用することにより、より効率よい追跡、監視が可能となり、それぞれのカメラの持つ欠点が相互に補完できるようになる。
各構成についてより詳細に説明すれば、前記熱画像カメラ１０は監視領域内で現れる熱源を感知するためのセンサーの役目をするカメラで、人間のように特定の温度分布の体熱を持っている熱源が監視領域内に現れればこれを感知するためのカメラである。
すなわち、熱画像カメラ１０が監視領域内を撮影し、それから獲得される熱画像が制御システム５０に伝送され、制御システム５０は獲得された熱画像を分析し、それからヒトを識別すると同時に位置座標及び大きさの情報を取得するようになる。
すなわち、熱画像カメラ１０が監視領域内を撮影し、それから獲得される熱画像が制御システム５０に伝送され、制御システム５０は獲得された熱画像を分析し、それからヒトを識別すると同時に位置座標及び大きさの情報を取得するようになる。
このような熱画像カメラ１０としては、物体から放射される赤外線を感知し、これを画像に具現する通常の赤外線（ＩＲ）熱画像カメラ１０が使われることができる。これは、ヒトからその体温による波長帯で放射される赤外線を感知して画像に具現することにより、監視領域内にヒトが現れるかどうかを感知するようになる。
前記熱画像カメラ１０によって撮影される熱画像は制御システム５０に伝送されてから管理され、制御システム５０では、熱画像カメラ１０によって撮影された熱画像からヒトを識別し、ヒトの位置座標を実時間で抽出するようになる。
制御システム５０によって熱画像カメラ１０の全域監視によって得られたヒトの位置座標は、動的追跡監視カメラ２０がヒトを追跡及び拡大撮影して映像を獲得することができるようにする姿勢制御装置３０の位置座標として使われる。
制御システム５０によって熱画像カメラ１０の全域監視によって得られたヒトの位置座標は、動的追跡監視カメラ２０がヒトを追跡及び拡大撮影して映像を獲得することができるようにする姿勢制御装置３０の位置座標として使われる。
次に、追跡監視カメラ２０は熱画像カメラ１０によって感知されたヒトを追跡及びズーミング（ズーム拡大）して顔面認識可能な高解像度の映像を撮影するカメラであり、前述したように熱画像から取得されたヒトの位置座標に基づいて監視領域内で動くヒトを追跡及び撮影するようになる。
前記追跡監視カメラ２０は、ズーミングの機能を持つスチールカメラまたは動画カメラの使用が可能であり、望遠レンズを備えた通常のＣＣＤカメラやＣＭＯＳカメラが使われることができる。
前記追跡監視カメラ２０は、ズーミングの機能を持つスチールカメラまたは動画カメラの使用が可能であり、望遠レンズを備えた通常のＣＣＤカメラやＣＭＯＳカメラが使われることができる。
また、それぞれのカメラが装着された支持部１において、追跡監視カメラ２０は姿勢制御装置３０を介して装着され、監視領域内で動くヒトを追跡し拡大して撮影するためには、姿勢の制御が必須なので姿勢制御装置３０に連結されて装着される。
前記追跡監視カメラ２０によって撮影される高解像度の身元確認用映像は制御システム５０に伝送されて保存される。
前記追跡監視カメラ２０によって撮影される高解像度の身元確認用映像は制御システム５０に伝送されて保存される。
次に、全域監視カメラ４０は予め設定された監視領域全体を撮影するように備えられる固定型カメラであり、たとえば、ＣＣＤやＣＭＯＳセンサを採用した通常の全域監視カメラ４０が使われることができる。
前記全域監視カメラ４０は、全監視領域内で発生する場面を実時間で撮影して制御システム５０に伝送するようになる。全域監視カメラ４０によって撮影された映像は制御システム５０で全状況確認用として保存されて活用される。
前記全域監視カメラ４０は、全監視領域内で発生する場面を実時間で撮影して制御システム５０に伝送するようになる。全域監視カメラ４０によって撮影された映像は制御システム５０で全状況確認用として保存されて活用される。
参考として、前述した全域監視カメラ４０と追跡監視カメラ２０としてＣＣＤカメラを使う場合を仮定して本発明者によって遂行されたシミュレーションの解釈結果を図７及び図８に基づいて説明する。
まず、全域監視カメラ４０と追跡監視カメラ２０として使われるＣＣＤカメラの選定のための画角の設定公式は下記の式１のようであり、計算によるＣＣＤセンサーの大きさの選定は表１に示したようである。
ここで、
ｆ：レンズの焦点距離
Ｖ：対象物の垂直方向大きさ
Ｈ：対象物の水平方向大きさ
Ｄ：レンズから対象物までの距離
ｖ：映像の垂直方向大きさ
ｈ：映像の水平方向大きさ
である。
ｆ：レンズの焦点距離
Ｖ：対象物の垂直方向大きさ
Ｈ：対象物の水平方向大きさ
Ｄ：レンズから対象物までの距離
ｖ：映像の垂直方向大きさ
ｈ：映像の水平方向大きさ
である。
カメラの選定のために、前記式１によってＣＣＤの大きさを選定し、これからコンピュータシミュレーションを行って、実際に現場に適用したときに可視性においてどんな効果と範囲を持つかを分析した。
シミュレーションプログラムとしては汎用プログラムであるＡＵＴＯＤＥＳＫ社の３ＤＭＡＸ ９．０を使用し、シミュレーションの結果は図７及び図８に示したようである。
図７は全体的な監視領域である距離と画角範囲を示す。このシミュレーションにおいて、追跡監視カメラ２０のターゲットの顔面を識別することができる最大距離は１７ｍであり、全域監視カメラ４０の最大画角範囲は５８°であることが分かる。
図８は全域監視カメラ４０と追跡監視カメラ２０のそれぞれで見られる映像を示したものである。
図７は全体的な監視領域である距離と画角範囲を示す。このシミュレーションにおいて、追跡監視カメラ２０のターゲットの顔面を識別することができる最大距離は１７ｍであり、全域監視カメラ４０の最大画角範囲は５８°であることが分かる。
図８は全域監視カメラ４０と追跡監視カメラ２０のそれぞれで見られる映像を示したものである。
一方、前記のようなそれぞれのカメラは地上や建物などの固定構造物に固定設置される支持部１に装着され、特に追跡監視カメラ２０の場合、前述したように姿勢制御装置３０によって姿勢制御ができるように装着される。
姿勢制御装置３０は、制御システム５０から出力される制御信号によって追跡監視カメラ２０を上下左右に動かして姿勢制御することができるように構成され、ターゲットとなる物体を追跡して撮影するように追跡監視カメラ２０の撮影方向を調節する。
姿勢制御装置３０は、制御システム５０から出力される制御信号によって追跡監視カメラ２０を上下左右に動かして姿勢制御することができるように構成され、ターゲットとなる物体を追跡して撮影するように追跡監視カメラ２０の撮影方向を調節する。
このような姿勢制御装置３０の構成は、電気的な信号によって駆動が制御されて自動でカメラの姿勢を制御することで、ターゲットとなる物体を追跡して撮影するようにする構成であれば特に制限なしに採択可能である。
姿勢制御装置３０の具体的な構成については、カメラ用姿勢制御装置がカメラの撮影方向及び姿勢を制御するために産業的に多様に具現されて使われているので、本明細書で特に限定して説明しない。
姿勢制御装置３０の具体的な構成については、カメラ用姿勢制御装置がカメラの撮影方向及び姿勢を制御するために産業的に多様に具現されて使われているので、本明細書で特に限定して説明しない。
次に、前記制御システム５０は、システム全般の統合的な制御、データの伝送及び管理を行う構成部であり、それぞれのカメラ１０、２０、４０、姿勢制御装置３０、赤外線照明装置６０、７０の駆動を制御し、それぞれのカメラから撮影された映像を受けて映像の処理及び分析、保存、そして各過程で発生する各種データの管理及び保存を遂行するようになる。
より詳細には、前記制御システム５０は、基本的に全域監視に使われる全域監視カメラ４０と熱画像カメラ１０によって撮影される映像を受けて保存する。制御システム５０に保存される全域監視カメラ４０の映像は全監視領域内で発生する状況を録画したものなので、後に状況の確認用に活用できる。
また、熱画像カメラ１０によって撮影される熱画像は実時間で監視領域内に現れたヒトを識別し、その位置座標を抽出するのに使われ、熱画像を用いたヒトの認識及び位置追跡は熱画像の一定温度以上に対する識別を用いるので、複雑なアルゴリズムなしに二進化によってヒトを認識することができる利点がある。
また、熱画像カメラ１０によって撮影される熱画像は実時間で監視領域内に現れたヒトを識別し、その位置座標を抽出するのに使われ、熱画像を用いたヒトの認識及び位置追跡は熱画像の一定温度以上に対する識別を用いるので、複雑なアルゴリズムなしに二進化によってヒトを認識することができる利点がある。
したがって、追跡方法に対する計算も図４に示した従来の追跡計算式に比べて非常に簡単になることができる。制御システム５０は、熱画像カメラ１０によって撮影された監視領域の熱画像を予め設定された臨界値（しきい値、Ｔｈｒｅｓｈｏｌｄ）を用いて二進化する映像処理を遂行することにより、監視領域内のヒトを識別し、熱画像内で識別されたヒトの位置座標を抽出するようになる。
このような過程で使われる追跡計算式は次の式（２）に示したようであり、図９は二進化処理された映像を示す図である。
このような過程で使われる追跡計算式は次の式（２）に示したようであり、図９は二進化処理された映像を示す図である。
ここで、
ＤＰ：二進化した映像
Ｄ：熱画像
ｘ，ｙ：各画素のｘ、ｙ座標
ｉ，ｋ：各フレームの時間
τ：臨界値（しきい値、Ｔｈｒｅｓｈｏｌｄ）
である。
ＤＰ：二進化した映像
Ｄ：熱画像
ｘ，ｙ：各画素のｘ、ｙ座標
ｉ，ｋ：各フレームの時間
τ：臨界値（しきい値、Ｔｈｒｅｓｈｏｌｄ）
である。
前記式（２）の算式を用いれば、全監視領域を撮影した熱画像内で移動するヒトの位置座標を識別して抽出することが可能となり、制御システム５０は熱画像Ｆ（ｘ、ｙ）から各画素別に臨界値（しきい値）より大きいか小さいかを判別してヒトを識別するとともに二進化した映像ＤＰ（ｘ、ｙ）から識別されたヒトにあたる座標ｘ、ｙを抽出するようになる。
図９を参照すれば、左側は赤外線熱画像カメラ１０によって獲得された原画像、つまり熱画像を示し、右側は二進化処理後の映像を示す。
また、制御システム５０は前記のように抽出された座標ｘ、ｙに基づいて追跡監視カメラ２０が該当座標のヒトを追跡するように追跡監視カメラ２０の姿勢を制御するための制御信号を出力し、同時に追跡監視カメラ２０をズーム拡大動作させるための制御信号を出力するようになる。
また、制御システム５０は前記のように抽出された座標ｘ、ｙに基づいて追跡監視カメラ２０が該当座標のヒトを追跡するように追跡監視カメラ２０の姿勢を制御するための制御信号を出力し、同時に追跡監視カメラ２０をズーム拡大動作させるための制御信号を出力するようになる。
これにより、姿勢制御装置３０は、制御システム５０から出力される制御信号によって追跡監視カメラ２０の姿勢を高速で制御して監視領域内の識別されたヒトを追跡するようになる。
一方、追跡監視カメラ２０が該当座標のヒトを拡大して撮影すれば、拡大撮影された身元確認用映像は制御システム５０に伝送されて保存され、ヒトの追跡及び顔認識が可能となるように拡大撮影する過程が完了した後、追跡監視カメラ２０は追跡を中断し、次のターゲットの追跡のために待機モードに進入するようになる。
一方、追跡監視カメラ２０が該当座標のヒトを拡大して撮影すれば、拡大撮影された身元確認用映像は制御システム５０に伝送されて保存され、ヒトの追跡及び顔認識が可能となるように拡大撮影する過程が完了した後、追跡監視カメラ２０は追跡を中断し、次のターゲットの追跡のために待機モードに進入するようになる。
このように、熱画像から取得されたヒトの位置座標に基づいて追跡監視カメラ２０がヒトを拡大撮影するにあたり、好ましくは身元確認が可能なヒトの顔部位を集中ズーミングして撮影するように、ヒトにあたる領域において予め決まった割合の上部領域のみを集中ズーミングするように設定することが可能である。
ターゲットの身元確認が可能な顔部位の拡大撮影のために、追跡監視カメラ２０が識別されたヒトにあたる全領域の中で予め決まった割合の上部領域を拡大撮影するように、前記制御システム５０が姿勢制御装置３０によって追跡監視カメラ２０の姿勢を制御するようにするものである。
ターゲットの身元確認が可能な顔部位の拡大撮影のために、追跡監視カメラ２０が識別されたヒトにあたる全領域の中で予め決まった割合の上部領域を拡大撮影するように、前記制御システム５０が姿勢制御装置３０によって追跡監視カメラ２０の姿勢を制御するようにするものである。
この場合、追跡監視カメラ２０のズーミング程度と割合の設定によってヒトの腰から顔までの上半身、または肩の上から顔まで、または顔部位だけ集中拡大して撮影することが可能となり、これにより追跡監視カメラ２０によって撮影された映像からより正確な身元確認が可能となる。
また、本発明の追跡監視システム及び方法において、監視領域内に多くのターゲットが同時に登場する場合、制御システム５０は、熱画像カメラ１０によって撮影された熱画像データに基づいて同一の分析過程によって第２、第３のターゲットに対して段階的に追跡及びズーミング撮影を遂行するように姿勢制御装置３０及び追跡監視カメラ２０の駆動を制御するようになる。
また、本発明の追跡監視システム及び方法において、監視領域内に多くのターゲットが同時に登場する場合、制御システム５０は、熱画像カメラ１０によって撮影された熱画像データに基づいて同一の分析過程によって第２、第３のターゲットに対して段階的に追跡及びズーミング撮影を遂行するように姿勢制御装置３０及び追跡監視カメラ２０の駆動を制御するようになる。
図１０を参照すれば、監視領域内に二人の侵入者が現れたとき、熱画像処理及び侵入者識別、第１ターゲットの座標抽出及び追跡、顔認識可能な映像獲得のためのズーミング撮影が遂行され、ついで第２ターゲットに対して同一過程で追跡及びズーミング撮影が遂行されることを示す。
すなわち、追跡監視カメラ２０によって第１ターゲットの身元確認のための映像情報が獲得された後、次のターゲットの座標を追跡して第２、第３ターゲットの身元確認のための映像情報を獲得するようになるものである。
すなわち、追跡監視カメラ２０によって第１ターゲットの身元確認のための映像情報が獲得された後、次のターゲットの座標を追跡して第２、第３ターゲットの身元確認のための映像情報を獲得するようになるものである。
また、図１１に示したように、複数の追跡監視カメラ２０と、各追跡監視カメラ２０の姿勢制御のための複数の個別姿勢制御装置３０とを備えてシステムを構成することができる。この場合、多くのヒトが監視領域内に登場する場合、それぞれの姿勢制御装置３０によって各追跡監視カメラ２０が相違したターゲットに対して同時にまたは順次に映像情報を獲得することができるようになる。このようなシステムにおいては、ヒトが多く移動するところで多数のヒトに対して正確な身元確認用映像を撮影することができるという利点がある。
このように、本発明は、全監視領域内の一般的な状況を録画する全域監視カメラ４０、監視領域内で人間のみを早く識別するためのセンサーの役目をする熱画像カメラ１０、監視領域内のヒトのみを追跡及び拡大して撮影する追跡監視カメラ２０、追跡監視カメラ２０がヒトのみを追跡して拡大撮影するように高速で姿勢制御する姿勢制御装置３０、及びそれぞれのカメラによって撮影された映像を受けて保存し、特に熱画像カメラ１０によって撮影された熱画像情報に基づいてヒトの映像座標を実座標に換算した後、追跡監視カメラ２０のターゲット追跡及び拡大撮影が可能となるように姿勢制御装置３０の駆動を制御する制御システム５０を含んでなる。
これにより、本発明は、熱画像から取得されるヒトの位置座標を用い、追跡監視カメラ２０がターゲットとなるヒトの身元確認が可能な顔部位を主としてターゲットを追跡及び拡大撮影するように構成されるので、より精密で正確な身元確認が可能な映像情報を収集することができる利点がある。
さらに、前述した本発明は、特定場所に外部侵入者が現れたとき、これを拡大撮影するための保安監視用だけではなく、映画産業やスポーツ（例えば、アイスリンクなど）の分野で特定の対象を追跡して拡大撮影するのにも効果的に活用できる。この場合、追跡監視カメラとしては、ズーミング及び姿勢制御が可能な高解像度の動画カメラが使われることができる。
さらに、前述した本発明は、特定場所に外部侵入者が現れたとき、これを拡大撮影するための保安監視用だけではなく、映画産業やスポーツ（例えば、アイスリンクなど）の分野で特定の対象を追跡して拡大撮影するのにも効果的に活用できる。この場合、追跡監視カメラとしては、ズーミング及び姿勢制御が可能な高解像度の動画カメラが使われることができる。
以上、本発明の実施形態について詳細に説明したが、本発明の権利範囲はこれに限定されるものではなく、特許請求範囲に定義されている本発明の基本概念を用いた当業者の色々の変形及び改良形態も本発明の権利範囲に含まれる。
１ 支持部
１０ 熱画像カメラ
２０ 追跡監視カメラ
３０ 姿勢制御装置
４０ 全域監視カメラ
５０ 制御システム
６０、７０ 赤外線照明装置
１０ 熱画像カメラ
２０ 追跡監視カメラ
３０ 姿勢制御装置
４０ 全域監視カメラ
５０ 制御システム
６０、７０ 赤外線照明装置
Claims (10)
- 予め設定された監視領域を撮影して熱画像として提供する赤外線熱画像カメラ１０と；
前記監視領域内でターゲットとなるヒトを追跡及び拡大撮影する追跡監視カメラ２０と；
前記監視領域内で追跡監視カメラ２０がターゲットとなるヒトを追跡するように前記追跡監視カメラ２０の姿勢制御を行う姿勢制御装置３０と；
前記赤外線熱画像カメラ１０が提供する監視領域の熱画像を臨界値（しきい値）を基準として二進化する映像処理を行って監視領域のヒトを識別しヒトの位置座標を抽出し、抽出された位置座標に基づいて前記姿勢制御装置３０の駆動を制御しながら、追跡監視カメラ２０によって撮影されるターゲットの身元確認用映像を受けて保存する制御システム５０と；
を含んでなることを特徴とする、熱画像座標を用いた保安用カメラ追跡監視システム。 - 同一の前記監視領域を撮影し、撮影された映像を前記制御システム５０に伝送して全状況確認用可視映像が録画されるようにする全域監視カメラ４０をさらに含むことを特徴とする、請求項１に記載の熱画像座標を用いた保安用カメラ追跡監視システム。
- 前記それぞれのカメラ１０、２０、４０の夜間撮影が可能となるように赤外線照明を提供する赤外線照明装置６０、７０をさらに含むことを特徴とする、請求項１または２に記載の熱画像座標を用いた保安用カメラ追跡監視システム。
- 追跡監視カメラ２０用の赤外線照明装置６０は追跡監視カメラ２０に設置されて一体的に動くように備えられることを特徴とする、請求項３に記載の熱画像座標を用いた保安用カメラ追跡監視システム。
- 前記監視領域内で多重ターゲットに対して身元確認用映像の同時または順次獲得が可能となるように、複数の追跡監視カメラ２０と、それぞれの追跡監視カメラ２０の姿勢制御のための複数の個別姿勢制御装置３０とが備えられることを特徴とする、請求項１に記載の熱画像座標を用いた保安用カメラ追跡監視システム。
- 赤外線熱画像カメラ１０が設定された監視領域を撮影して制御システム５０に提供する過程と；
前記制御システム５０が前記赤外線熱画像カメラ１０から提供される監視領域の熱画像を臨界値（しきい値）を基準として二進化する映像処理を行って監視領域のヒトを識別しヒトの位置座標を抽出する過程と；
前記制御システム５０が抽出された位置座標に基づいて姿勢制御装置３０の駆動を制御する過程と；
前記姿勢制御装置３０の駆動によって追跡監視カメラ２０が監視領域内でターゲットとなるヒトを追跡して拡大撮影する過程と；
前記制御システム５０が追跡監視カメラ２０によって撮影されるターゲットの身元確認用映像を受けて保存する過程と；
を含んでなることを特徴とする、熱画像座標を用いた保安用カメラ追跡監視方法。 - 全域監視カメラ４０が同一の前記監視領域を撮影し、撮影された映像を前記制御システム５０に伝送して全状況確認用可視映像が録画されるようにする過程をさらに含むことを特徴とする、請求項６に記載の熱画像座標を用いた保安用カメラ追跡監視方法。
- 前記制御システム５０が熱画像から監視領域内の複数のヒトを識別し、各ヒトの位置座標を抽出し、抽出された位置座標に基づいて各ヒトに対して姿勢制御装置３０の駆動及び追跡監視カメラ２０の作動が順次に行われながら多重ターゲットに対する身元確認用映像が順次に獲得されるようにすることを特徴とする、請求項６に記載の熱画像座標を用いた保安用カメラ追跡監視方法。
- 複数の追跡監視カメラ２０と各追跡監視カメラ２０の姿勢制御のための複数の個別姿勢制御装置３０が備えられ、前記監視領域内で多重ターゲットに対して身元確認用映像が同時または順次に獲得されるようにすることを特徴とする、請求項６に記載の熱画像座標を用いた保安用カメラ追跡監視方法。
- 前記ターゲットの身元確認が可能な顔部位の拡大撮影のために、前記制御システム５０が姿勢制御装置３０によって追跡監視カメラ２０の姿勢を制御し、識別されたヒトにあたる全領域の中で予め決まった割合の上部領域が追跡監視カメラ２０によって拡大撮影されるように姿勢制御することを特徴とする、請求項６に記載の熱画像座標を用いた保安用カメラ追跡監視方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2010-0078870 | 2010-08-16 | ||
| KR1020100078870A KR101172747B1 (ko) | 2010-08-16 | 2010-08-16 | 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법 |
| PCT/KR2011/005950 WO2012023766A2 (ko) | 2010-08-16 | 2011-08-12 | 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013535896A true JP2013535896A (ja) | 2013-09-12 |
| JP5688456B2 JP5688456B2 (ja) | 2015-03-25 |
Family
ID=45605535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013520678A Expired - Fee Related JP5688456B2 (ja) | 2010-08-16 | 2011-08-12 | 熱画像座標を用いた保安用カメラ追跡監視システム及び方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9274204B2 (ja) |
| JP (1) | JP5688456B2 (ja) |
| KR (1) | KR101172747B1 (ja) |
| CN (1) | CN103168467B (ja) |
| GB (1) | GB2492689B (ja) |
| WO (1) | WO2012023766A2 (ja) |
Families Citing this family (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10196088B2 (en) * | 2011-04-19 | 2019-02-05 | Ford Global Technologies, Llc | Target monitoring system and method |
| KR101411426B1 (ko) * | 2012-03-06 | 2014-07-01 | 충남대학교산학협력단 | 열화상 내에서 특정부위 추적이 가능한 열상시스템 및 이를 이용한 특정부위의 추적방법 |
| US10271010B2 (en) * | 2013-10-31 | 2019-04-23 | Shindig, Inc. | Systems and methods for controlling the display of content |
| WO2015135099A1 (zh) * | 2014-03-10 | 2015-09-17 | 李文嵩 | 智能住宅定位装置 |
| KR101586452B1 (ko) * | 2014-03-19 | 2016-01-18 | 국방과학연구소 | 거리 적응적 탐지 문턱값 적용에 의한 적외선 해상 표적 탐지장치 구현 방법 |
| US9813643B2 (en) * | 2014-06-06 | 2017-11-07 | Flir Systems, Inc. | Thermal recognition systems and methods |
| CN104079881B (zh) * | 2014-07-01 | 2017-09-12 | 中磊电子（苏州）有限公司 | 监控装置与其相关的监控方法 |
| CN105450971A (zh) * | 2014-08-15 | 2016-03-30 | 深圳Tcl新技术有限公司 | 视频通话的隐私保护方法、装置及电视机 |
| KR101488407B1 (ko) | 2014-09-30 | 2015-02-03 | 한국표준과학연구원 | 높이 변화가 가능한 고속 고분해 팬틸트 장치 |
| EP3185180B1 (en) | 2014-10-23 | 2019-01-02 | Axis AB | Modification of at least one parameter used by a video processing algorithm for monitoring of a scene |
| EP3016383B1 (en) | 2014-11-03 | 2017-06-21 | Axis AB | Method, device, and system for pre-processing a video stream for subsequent motion detection processing |
| TWI554976B (zh) * | 2014-11-17 | 2016-10-21 | 財團法人工業技術研究院 | 監控系統及其影像處理方法 |
| KR102282456B1 (ko) * | 2014-12-05 | 2021-07-28 | 한화테크윈 주식회사 | 평면도에 히트맵을 표시하는 장치 및 방법 |
| DE102015104768B4 (de) * | 2015-03-27 | 2023-03-16 | Bundesdruckerei Gmbh | Zugangssystem mit Personenerkennungsvorrichtung |
| CN104853153A (zh) * | 2015-04-29 | 2015-08-19 | 南宁燎旺车灯有限责任公司 | 一种汽车近红外夜视系统 |
| CN104853094A (zh) * | 2015-04-30 | 2015-08-19 | 广东欧珀移动通信有限公司 | 一种拍照方法及装置 |
| CN104902182B (zh) * | 2015-05-28 | 2019-04-19 | 努比亚技术有限公司 | 一种实现连续自动对焦的方法和装置 |
| KR101600527B1 (ko) | 2015-10-05 | 2016-03-08 | (주)나인정보시스템 | 열화상 카메라를 이용한 이동 물체 추적 및 자동 조명 제어 시스템 |
| KR20160010633A (ko) | 2016-01-08 | 2016-01-27 | 주식회사 유아세이프 | 열화상 융합 카메라를 이용한 침입자 감시 및 경보 시스템 |
| WO2018106262A1 (en) * | 2016-12-09 | 2018-06-14 | Google Llc | Feature recognition assisted super-resolution method |
| CN106842350B (zh) * | 2016-12-26 | 2020-04-10 | 首都师范大学 | 同平台不同分辨率传感器联合动目标检测系统及检测方法 |
| KR101977305B1 (ko) * | 2017-06-12 | 2019-05-13 | (주)티에스이 | 셀 얼라인을 통한 디스플레이 패널의 열화상 검사장치 |
| CN114548882A (zh) * | 2018-02-01 | 2022-05-27 | 湖南人文科技学院 | 一种适用于智能库存管理的信息管理系统及方法 |
| CN110318953B (zh) * | 2018-03-30 | 2021-01-26 | 北京金风科创风电设备有限公司 | 风电机组电控系统的温度监控方法和设备 |
| CN108810492A (zh) * | 2018-07-09 | 2018-11-13 | 安徽博豪信息技术有限公司 | 一种可移动的视频监控器 |
| EP3621050B1 (en) | 2018-09-05 | 2022-01-26 | Honeywell International Inc. | Method and system for improving infection control in a facility |
| TWI691939B (zh) | 2018-10-15 | 2020-04-21 | 財團法人工業技術研究院 | 用以監視熱源的雙視角影像裝置及其影像處理方法 |
| US10978199B2 (en) | 2019-01-11 | 2021-04-13 | Honeywell International Inc. | Methods and systems for improving infection control in a building |
| KR102129734B1 (ko) * | 2019-02-11 | 2020-07-03 | (주)지니가치 | 인공지능 기반의 영상 감시 시스템 |
| IT201900004643A1 (it) * | 2019-03-28 | 2020-09-28 | Cielo S R L | Sistema e metodo di telerilevamento, tracciabilità e identificazione degli occupanti di un determinato ambiente |
| CN113785298A (zh) * | 2019-05-03 | 2021-12-10 | 丰田汽车欧洲股份有限公司 | 用于追踪对象的图像获取设备 |
| CN111345029B (zh) * | 2019-05-30 | 2022-07-08 | 深圳市大疆创新科技有限公司 | 一种目标追踪方法、装置、可移动平台及存储介质 |
| CN111131778A (zh) * | 2019-12-23 | 2020-05-08 | 富德康(北京)科技股份有限公司 | 一种通过热成像进行跟踪拍摄的装置及方法 |
| US11320312B2 (en) | 2020-03-06 | 2022-05-03 | Butlr Technologies, Inc. | User interface for determining location, trajectory and behavior |
| US11022495B1 (en) | 2020-03-06 | 2021-06-01 | Butlr Technologies, Inc. | Monitoring human location, trajectory and behavior using thermal data |
| CN111522260A (zh) * | 2020-04-24 | 2020-08-11 | 徐建红 | 基于信息抓取识别及大数据的智能辅助服务方法及其系统 |
| US11620594B2 (en) | 2020-06-12 | 2023-04-04 | Honeywell International Inc. | Space utilization patterns for building optimization |
| US11914336B2 (en) | 2020-06-15 | 2024-02-27 | Honeywell International Inc. | Platform agnostic systems and methods for building management systems |
| US11783652B2 (en) | 2020-06-15 | 2023-10-10 | Honeywell International Inc. | Occupant health monitoring for buildings |
| US11783658B2 (en) | 2020-06-15 | 2023-10-10 | Honeywell International Inc. | Methods and systems for maintaining a healthy building |
| US11625964B2 (en) | 2020-06-15 | 2023-04-11 | Honeywell International Inc. | Methods and systems for temperature screening using a mobile device |
| CN111738132B (zh) * | 2020-06-17 | 2024-03-05 | 银河水滴科技（北京）有限公司 | 人体温度的测量方法、装置、电子设备及可读存储介质 |
| US11823295B2 (en) | 2020-06-19 | 2023-11-21 | Honeywell International, Inc. | Systems and methods for reducing risk of pathogen exposure within a space |
| US11184739B1 (en) | 2020-06-19 | 2021-11-23 | Honeywel International Inc. | Using smart occupancy detection and control in buildings to reduce disease transmission |
| US11619414B2 (en) | 2020-07-07 | 2023-04-04 | Honeywell International Inc. | System to profile, measure, enable and monitor building air quality |
| US11402113B2 (en) | 2020-08-04 | 2022-08-02 | Honeywell International Inc. | Methods and systems for evaluating energy conservation and guest satisfaction in hotels |
| US11894145B2 (en) | 2020-09-30 | 2024-02-06 | Honeywell International Inc. | Dashboard for tracking healthy building performance |
| US11662115B2 (en) | 2021-02-26 | 2023-05-30 | Honeywell International Inc. | Hierarchy model builder for building a hierarchical model of control assets |
| US11372383B1 (en) | 2021-02-26 | 2022-06-28 | Honeywell International Inc. | Healthy building dashboard facilitated by hierarchical model of building control assets |
| US11474489B1 (en) | 2021-03-29 | 2022-10-18 | Honeywell International Inc. | Methods and systems for improving building performance |
| CN116205952B (zh) * | 2023-04-19 | 2023-08-04 | 齐鲁空天信息研究院 | 人脸识别与跟踪的方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11284988A (ja) * | 1998-03-27 | 1999-10-15 | Mitsubishi Electric Corp | 監視カメラ装置 |
| JP2001321005A (ja) * | 2000-03-07 | 2001-11-20 | Mec Engineering Service Co Ltd | 監視装置、監視制御部、監視システム及び養殖場監視システム |
| JP2004357014A (ja) * | 2003-05-29 | 2004-12-16 | Matsushita Electric Works Ltd | 監視通報システム |
| JP2005033570A (ja) * | 2003-07-04 | 2005-02-03 | Chuo Electronics Co Ltd | 移動体画像提供方法、移動体画像提供システム |
| JP2005277698A (ja) * | 2004-03-24 | 2005-10-06 | Opt Kk | 監視カメラおよび監視方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19990079810A (ko) * | 1998-04-09 | 1999-11-05 | 구자홍 | 감시용 카메라의 자동 추적 장치 |
| US7439847B2 (en) * | 2002-08-23 | 2008-10-21 | John C. Pederson | Intelligent observation and identification database system |
| US20020163577A1 (en) * | 2001-05-07 | 2002-11-07 | Comtrak Technologies, Inc. | Event detection in a video recording system |
| US20030093805A1 (en) * | 2001-11-15 | 2003-05-15 | Gin J.M. Jack | Dual camera surveillance and control system |
| JP3756452B2 (ja) * | 2002-01-18 | 2006-03-15 | 本田技研工業株式会社 | 赤外線画像処理装置 |
| US20050128291A1 (en) * | 2002-04-17 | 2005-06-16 | Yoshishige Murakami | Video surveillance system |
| CN100393122C (zh) * | 2002-08-13 | 2008-06-04 | 株式会社日立国际电气 | 可改变物体检测条件的物体检测方法和物体检测装置 |
| JP3702260B2 (ja) * | 2002-09-19 | 2005-10-05 | 株式会社東芝 | 目標角速度計測装置および目標角速度計測方法 |
| US7599521B2 (en) * | 2004-11-30 | 2009-10-06 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
| US7965314B1 (en) * | 2005-02-09 | 2011-06-21 | Flir Systems, Inc. | Foveal camera systems and methods |
| KR100719458B1 (ko) * | 2005-02-28 | 2007-05-17 | 삼인데이타시스템 (주) | 불법 주정차 무인 단속 시스템 및 그 방법 |
| CN100544410C (zh) * | 2006-10-17 | 2009-09-23 | 马涛 | 主动红外跟踪系统 |
| JP2010519860A (ja) * | 2007-02-21 | 2010-06-03 | ピクセル ベロシティー，インク． | 広域監視のための拡張可能なシステム |
| CN201114551Y (zh) * | 2007-10-31 | 2008-09-10 | 北京航空航天大学 | 多模多目标精密跟踪装置 |
| KR20090061405A (ko) * | 2007-12-11 | 2009-06-16 | 주식회사 메타켐 | 비접촉식 다중 적외선 온도센서를 이용한 자동 추적 장치및 방법 |
| KR101010864B1 (ko) | 2008-09-23 | 2011-01-25 | 한국표준과학연구원 | 보안감시용 적외선 열화상 카메라 시스템의 문턱값 능동 설정 장치 및 방법 |
-
2010
- 2010-08-16 KR KR1020100078870A patent/KR101172747B1/ko active IP Right Grant
-
2011
- 2011-08-12 JP JP2013520678A patent/JP5688456B2/ja not_active Expired - Fee Related
- 2011-08-12 US US13/637,987 patent/US9274204B2/en active Active
- 2011-08-12 WO PCT/KR2011/005950 patent/WO2012023766A2/ko active Application Filing
- 2011-08-12 CN CN201180039379.1A patent/CN103168467B/zh active Active
- 2011-08-12 GB GB1217859.6A patent/GB2492689B/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11284988A (ja) * | 1998-03-27 | 1999-10-15 | Mitsubishi Electric Corp | 監視カメラ装置 |
| JP2001321005A (ja) * | 2000-03-07 | 2001-11-20 | Mec Engineering Service Co Ltd | 監視装置、監視制御部、監視システム及び養殖場監視システム |
| JP2004357014A (ja) * | 2003-05-29 | 2004-12-16 | Matsushita Electric Works Ltd | 監視通報システム |
| JP2005033570A (ja) * | 2003-07-04 | 2005-02-03 | Chuo Electronics Co Ltd | 移動体画像提供方法、移動体画像提供システム |
| JP2005277698A (ja) * | 2004-03-24 | 2005-10-06 | Opt Kk | 監視カメラおよび監視方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5688456B2 (ja) | 2015-03-25 |
| WO2012023766A3 (ko) | 2012-04-12 |
| CN103168467B (zh) | 2016-06-15 |
| GB2492689A (en) | 2013-01-09 |
| CN103168467A (zh) | 2013-06-19 |
| KR101172747B1 (ko) | 2012-08-14 |
| US20130135468A1 (en) | 2013-05-30 |
| US9274204B2 (en) | 2016-03-01 |
| KR20120016479A (ko) | 2012-02-24 |
| GB2492689B (en) | 2016-06-22 |
| GB201217859D0 (en) | 2012-11-21 |
| WO2012023766A2 (ko) | 2012-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5688456B2 (ja) | 熱画像座標を用いた保安用カメラ追跡監視システム及び方法 | |
| US9210336B2 (en) | Automatic extraction of secondary video streams | |
| US7321386B2 (en) | Robust stereo-driven video-based surveillance | |
| Wheeler et al. | Face recognition at a distance system for surveillance applications | |
| Senior et al. | Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration | |
| KR101530255B1 (ko) | 객체 자동 추적 장치가 구비된 cctv 시스템 | |
| US20100165112A1 (en) | Automatic extraction of secondary video streams | |
| Lim et al. | Image-based pan-tilt camera control in a multi-camera surveillance environment | |
| CN107547865A (zh) | 跨区域人体视频目标跟踪智能监控方法 | |
| Abd Manap et al. | Smart surveillance system based on stereo matching algorithms with IP and PTZ cameras | |
| Fahn et al. | A high-definition human face tracking system using the fusion of omni-directional and PTZ cameras mounted on a mobile robot | |
| KR20120002723A (ko) | 3차원 영상 정보를 이용하는 사람 인식 방법 및 장치 | |
| KR20150019230A (ko) | 복수의 카메라를 이용한 객체 추적 방법 및 장치 | |
| CN111465937A (zh) | 采用光场相机系统的脸部检测和识别方法 | |
| KR102614895B1 (ko) | 동적 카메라 영상 내의 객체를 실시간 추적하는 시스템 및 방법 | |
| KR102450466B1 (ko) | 영상 내의 카메라 움직임 제거 시스템 및 방법 | |
| Lalchandani et al. | Smart iot based people counting system | |
| KR101749679B1 (ko) | 촬영 영상을 이용한 추적대상의 삼차원 형상 생성시스템 및 그 방법 | |
| Garibotto et al. | 3D scene analysis by real-time stereovision | |
| Chung et al. | Integration of omnidirectional and movable cameras for indoor surveillance | |
| Amnuaykanjanasin et al. | Face tracking using two cooporative static and moving cameras | |
| Yang et al. | Visual-GPS: ego-downward and ambient video based person location association | |
| Benedek et al. | Motion-based flexible camera registration | |
| KR101977626B1 (ko) | Ｃｃｔｖ 카메라 유지 보수 시스템, 그리고 ｃｃｔｖ 카메라 유지 보수 제공 프로그램을 기록한 컴퓨터로 판독가능한 기록매체 | |
| Rajasekhar | AI in Video Analytics and Security |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130111 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150126 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5688456 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |