JP2020088840A - Monitoring device, monitoring system, monitoring method, and monitoring program - Google Patents
Monitoring device, monitoring system, monitoring method, and monitoring program Download PDFInfo
- Publication number
- JP2020088840A JP2020088840A JP2019075374A JP2019075374A JP2020088840A JP 2020088840 A JP2020088840 A JP 2020088840A JP 2019075374 A JP2019075374 A JP 2019075374A JP 2019075374 A JP2019075374 A JP 2019075374A JP 2020088840 A JP2020088840 A JP 2020088840A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- monitoring
- monitoring target
- coordinates
- coordinate setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、監視装置、監視システム、監視方法、監視プログラムに関するものである。 The present invention relates to a monitoring device, a monitoring system, a monitoring method, and a monitoring program.
従来、防犯や防災等の目的で監視カメラを用いた監視システムが利用されている。この種の監視システムでは、例えば店舗や商業施設、公共施設等の所定の監視対象領域や監視対象物に監視カメラを設置し、監視カメラで撮影された画像を用いて、異常状態や危険事象の発生の有無を監視する。 Conventionally, a surveillance system using a surveillance camera has been used for the purpose of crime prevention and disaster prevention. In this type of surveillance system, for example, a surveillance camera is installed in a predetermined surveillance area or surveillance object such as a store, a commercial facility, or a public facility, and an image taken by the surveillance camera is used to detect an abnormal state or a dangerous event. Monitor for occurrence.
監視システムとして、従来、監視領域の背景にメッシュモデルを適用して、監視に利用する技術が知られている(特許文献1参照)。 Conventionally, as a monitoring system, a technique is known in which a mesh model is applied to the background of a monitoring area and used for monitoring (see Patent Document 1).
しかし、特許文献1に開示されている技術では、測定対象までの距離を測定する測距部を設けて、この測距部で測定される距離に基づき、メッシュモデルを生成していた。特許文献1では、測距部として、赤外線や超音波、レーザ等を利用するものが例示されているが、いずれの構成であっても、測距部を設けることが必要であることから、装置やシステムの構造が複雑になったり、価格上昇の原因となったりしていた。 However, in the technique disclosed in Patent Document 1, a distance measuring unit that measures the distance to the measurement target is provided, and the mesh model is generated based on the distance measured by the distance measuring unit. Patent Document 1 exemplifies a distance measuring unit that uses infrared rays, ultrasonic waves, lasers, or the like. However, in any configuration, it is necessary to provide the distance measuring unit. And the structure of the system became complicated, and it was the cause of the price increase.
本発明の課題は、測距部を必要とせず、より簡単に監視を行うことができる監視装置、監視システム、監視方法、監視プログラムを提供することである。 An object of the present invention is to provide a monitoring device, a monitoring system, a monitoring method, and a monitoring program that can perform monitoring more easily without requiring a distance measuring unit.
本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。 The present invention solves the above problems by the following means. It should be noted that, for ease of understanding, reference numerals corresponding to the embodiments of the present invention will be given and described, but the present invention is not limited thereto.
第1の発明は、撮影部(110)と、前記撮影部(110)が撮影した二次元の撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を前記撮影部(110)が撮影した撮影画像に基づいて設定する座標設定部(121)と、前記撮影部(110)が撮影した撮影画像中の監視対象を特定する監視対象特定部(123,423)と、を備え、前記監視対象特定部が特定した監視対象が実際に存在している監視領域を構成する三次元空間内において、特定の座標で規定することができる監視対象の位置を前記撮影部が撮影した撮影画像に基づいて座標設定部(121)が設定した座標において特定する位置特定部(124,424)と、を備え、前記座標設定部(121)は、監視を実行するよりも先に、座標の設定を行い、前記位置特定部(124,424)は、前記撮影部が撮影を繰り返すことにより前記監視対象特定部(123,423)が新たに監視対象を検出すると、監視を実行するよりも先に設定された座標を用いて前記監視対象の位置を特定する監視装置(100,200,400)である。 A first aspect of the present invention relates to a photographing unit (110), and the coordinates capable of specifying a position corresponding to a floor surface or a ground in a two-dimensional photographed image photographed by the photographing unit (110) with an actual dimension. A coordinate setting unit (121) that is set based on a captured image captured by the unit (110), and a monitoring target identification unit (123, 423) that identifies a monitoring target in the captured image captured by the imaging unit (110). In the three-dimensional space forming the monitoring area in which the monitoring target specified by the monitoring target specifying unit actually exists, the imaging unit determines the position of the monitoring target that can be defined by specific coordinates. A position specifying unit (124, 424) for specifying the coordinates set by the coordinate setting unit (121) based on the captured image, and the coordinate setting unit (121) performs monitoring prior to execution. , Coordinates are set, and the position specifying unit (124, 424) executes monitoring when the monitoring target specifying unit (123, 423) detects a new monitoring target by the photographing unit repeating photographing. The monitoring device (100, 200, 400) specifies the position of the monitoring target using the coordinates set earlier than the above.
第2の発明は、第1の発明に記載の監視装置(100,200)において、前記座標設定部(121)は、前記撮影部(110)から床面又は地面までの距離と、前記撮影部(110)が撮影する映像光の光軸の向きと、前記撮影部(110)が撮影する撮影画像の画角とを用いて座標を設定すること、を特徴とする監視装置(100,200)である。 2nd invention is the monitoring apparatus (100, 200) as described in 1st invention, Comprising: The said coordinate setting part (121) WHEREIN: The distance from the said imaging|photography part (110) to a floor or the ground, and the said imaging|photography part. A monitoring device (100, 200), characterized in that the coordinates are set by using the direction of the optical axis of the image light captured by the (110) and the angle of view of the captured image captured by the capturing unit (110). Is.
第3の発明は、第2の発明に記載の監視装置(100,200)において、少なくとも前記撮影部(110)から床面又は地面までの距離について、外部からの入力を受け付ける入力部(122)を備えること、を特徴とする監視装置(100,200)である。 A third invention is the monitoring device (100, 200) according to the second invention, wherein an input unit (122) that receives an input from the outside with respect to at least the distance from the imaging unit (110) to the floor surface or the ground. And a monitoring device (100, 200).
第4の発明は、第3の発明に記載の監視装置(100,200)において、前記入力部(122)は、前記撮影部(110)が撮影する映像光の光軸の向きの入力を受け付けること、を特徴とする監視装置(100,200)である。 A fourth invention is the monitoring device (100, 200) according to the third invention, wherein the input unit (122) receives an input of an optical axis direction of the image light captured by the imaging unit (110). That is, the monitoring device (100, 200).
第5の発明は、第2の発明又は第3の発明に記載の監視装置(100,200)において、前記撮影部(110)は、前記撮影部(110)が撮影する映像光の光軸の向きを検出可能な光軸検出部(115)を備え、前記座標設定部(121)は、前記光軸検出部(115)が検出した前記映像光の光軸の向きを用いて座標を設定すること、を特徴とする監視装置(100,200)である。 A fifth invention is the monitoring device (100, 200) according to the second invention or the third invention, wherein the photographing unit (110) is arranged on the optical axis of image light photographed by the photographing unit (110). An optical axis detection unit (115) capable of detecting a direction is provided, and the coordinate setting unit (121) sets coordinates using the optical axis direction of the image light detected by the optical axis detection unit (115). That is, the monitoring device (100, 200).
第6の発明は、第5の発明に記載の監視装置(100,200)において、前記撮影部(110)は、前記撮影部(110)が撮影する映像光の光軸の向きを変更可能な駆動部(114)を備えており、前記座標設定部(121)は、複数の異なる前記光軸の向きにおいて前記撮影部(110)が撮影する撮影画像及び前記光軸検出部が検出した前記映像光の光軸の向きを用いて座標を設定すること、を特徴とする監視装置(100,200)である。 A sixth invention is the monitoring device (100, 200) according to the fifth invention, wherein the photographing unit (110) can change the direction of the optical axis of the image light photographed by the photographing unit (110). The coordinate setting unit (121) includes a driving unit (114), and the coordinate setting unit (121) captures an image captured by the image capturing unit (110) in a plurality of different optical axis directions and the image detected by the optical axis detecting unit. The monitoring device (100, 200) is characterized in that coordinates are set using the direction of the optical axis of light.
第7の発明は、第1の発明から第6の発明までのいずれかに記載の監視装置(100,200)において、前記座標設定部(121)は、寸法が既知の基準被写体を前記撮影部(110)により撮影した撮影画像を用いて座標を設定すること、を特徴とする監視装置(100,200)である。 A seventh invention is the monitoring device (100, 200) according to any one of the first invention to the sixth invention, wherein the coordinate setting unit (121) uses the photographing unit for capturing a reference object whose dimension is known. The monitoring device (100, 200) is characterized in that coordinates are set using a captured image captured by (110).
第8の発明は、第7の発明に記載の監視装置(100,200)において、前記基準被写体は、座標設定時に撮影範囲内に設置される寸法が既知の設定用被写体であること、を特徴とする監視装置(100,200)である。 An eighth invention is the monitoring device (100, 200) according to the seventh invention, wherein the reference subject is a setting subject whose dimensions are known to be set within a photographing range when coordinates are set. Monitoring device (100, 200).
第9の発明は、第7の発明に記載の監視装置(100,200)において、前記基準被写体は、座標設定時に撮影範囲内に含まれる背景物品であること、を特徴とする監視装置(100,200)である。 A ninth invention is the monitoring device (100, 200) according to the seventh invention, wherein the reference subject is a background article included in a photographing range when coordinates are set. , 200).
第10の発明は、第1の発明に記載の監視装置(400)において、位置特定部(124)は、撮影画像に含まれる情報から求めた消失点に基づいて、監視対象の位置を特定すること、を特徴とする監視装置(400)である。 In a tenth aspect of the invention, in the monitoring device (400) according to the first aspect, the position identifying section (124) identifies the position of the monitoring target based on the vanishing point obtained from the information included in the captured image. The monitoring device (400) is characterized by that.
第11の発明は、第1の発明から第10の発明までのいずれかに記載の監視装置(100,200,400)において、当該監視装置を構成する部位のうちの少なくとも1つは、他の部位から離れた場所に配置されており、通信を介して接続されていること、を特徴とする監視装置(100,200,400)である。 An eleventh invention is the monitoring device (100, 200, 400) according to any one of the first invention to the tenth invention, wherein at least one of the parts constituting the monitoring device is A monitoring device (100, 200, 400) characterized in that the monitoring device (100, 200, 400) is arranged at a place distant from the site and is connected via communication.
第12の発明は、複数の撮影部(110)と、前記撮影部(110)が撮影した二次元の撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を前記撮影部が撮影した撮影画像に基づいて設定する座標設定部(121)と、前記撮影画像中の監視対象を特定する監視対象特定部(123)と、前記監視対象特定部(123)が特定した監視対象が実際に存在している監視領域を構成する三次元空間内において、特定の座標で規定することができる監視対象の位置を前記撮影部(110)が撮影した撮影画像に基づいて座標設定部(121)が設定した座標において特定する位置特定部(124,424)と、を備え、前記座標設定部(121)は、監視を実行するよりも先に、座標の設定を行い、前記位置特定部(124,424)は、前記撮影部(110)が撮影を繰り返すことにより前記監視対象特定部(123)が新たに監視対象を検出すると、監視を実行するよりも先に設定された座標を用いて前記監視対象の位置を特定する監視システムである。 A twelfth aspect of the invention is to provide a plurality of photographing units (110) and coordinates capable of specifying a position corresponding to a floor surface or the ground in a two-dimensional photographed image photographed by the photographing unit (110) in association with actual dimensions. A coordinate setting unit (121) that is set based on the captured image captured by the capturing unit, a monitoring target identification unit (123) that identifies a monitoring target in the captured image, and a monitoring target identification unit (123) are identified. The coordinate of the position of the monitoring target that can be defined by specific coordinates in the three-dimensional space forming the monitoring region where the monitoring target actually exists is based on the captured image captured by the capturing unit (110). A position specifying unit (124, 424) for specifying the coordinates set by the setting unit (121), and the coordinate setting unit (121) sets the coordinates before performing monitoring, The position specifying unit (124, 424) is set before the monitoring is performed when the monitoring target specifying unit (123) detects a new monitoring target by the photographing unit (110) repeating the photographing. It is a monitoring system that specifies the position of the monitoring target by using coordinates.
第13の発明は、第12の発明に記載の監視システムにおいて、前記座標設定部(121)は、複数の前記撮影部(110)が撮影する撮影画像における座標を同一の座標として共通化すること、を特徴とする監視システムである。 A thirteenth invention is the monitoring system according to the twelfth invention, wherein the coordinate setting unit (121) makes the coordinates in the captured images captured by the plurality of capturing units (110) common as the same coordinate. The monitoring system is characterized by.
第14の発明は、撮影部(110)が撮影を行う撮影ステップと、座標設定部(121)が、前記撮影部(110)が撮影した二次元の撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を前記撮影部(110)が撮影した撮影画像に基づいて設定する座標設定ステップと、監視対象特定部(123,423)が、撮影画像中の監視対象を特定する監視対象特定ステップと、位置特定部(124,424)が、前記監視対象特定部(123,423)が特定した監視対象が実際に存在している監視領域を構成する三次元空間内において、特定の座標で規定することができる監視対象の位置を前記撮影部(110)が撮影した撮影画像に基づいて座標設定部(121)が設定した座標において特定する位置特定ステップと、を備え、前記座標設定ステップは、監視を実行するよりも先に、座標の設定を行い、前記位置特定ステップは、前記撮影部(110)が撮影を繰り返すことにより前記監視対象特定部(123,423)が新たに監視対象を検出すると、監視を実行するよりも先に設定された座標を用いて前記監視対象の位置を特定する監視方法である。 A fourteenth invention corresponds to a photographing step in which the photographing unit (110) performs photographing, and the coordinate setting unit (121) corresponds to the floor surface or the ground in the two-dimensional photographed image photographed by the photographing unit (110). A coordinate setting step of setting a coordinate that can specify a position by associating it with an actual size based on a captured image captured by the capturing unit (110), and a monitoring target specifying unit (123, 423) that monitors the monitoring target in the captured image. Within the three-dimensional space in which the monitoring target specifying step that specifies the monitoring target and the position specifying unit (124, 424) configures a monitoring region in which the monitoring target specified by the monitoring target specifying unit (123, 423) actually exists. In the above, a position specifying step of specifying the position of the monitoring target that can be defined by specific coordinates at the coordinates set by the coordinate setting unit (121) based on the captured image captured by the capturing unit (110). In the coordinate setting step, the coordinates are set before the monitoring is performed, and in the position specifying step, the monitoring target specifying unit (123, 423) is performed by the photographing unit (110) repeating the photographing. Is a monitoring method for identifying a position of the monitoring target by using coordinates set before the monitoring is newly performed when the monitoring target is newly detected.
第15の発明は、第14の発明に記載の監視方法において、前記座標設定ステップは、前記撮影部(110)の設置後少なくとも1回行われ、前記撮影ステップと、前記監視対象特定ステップと、前記位置特定ステップとは、繰り返し行われること、を特徴とする監視方法である。 A fifteenth invention is the monitoring method according to the fourteenth invention, wherein the coordinate setting step is performed at least once after the imaging unit (110) is installed, and the imaging step, the monitoring target specifying step, and The position specifying step is a monitoring method characterized by being repeatedly performed.
第16の発明は、監視装置(100,200)又は監視システムのコンピュータに、撮影部(110)が撮影を行う撮影ステップと、座標設定部(121)が、前記撮影部(110)が撮影した二次元の撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を前記撮影部(110)が撮影した撮影画像に基づいて設定する座標設定ステップと、監視対象特定部(123)が、撮影画像中の監視対象を特定する監視対象特定ステップと、位置特定部が、前記監視対象特定部(123)が特定した監視対象が実際に存在している監視領域を構成する三次元空間内において、特定の座標で規定することができる監視対象の位置を前記撮影部が撮影した撮影画像に基づいて座標設定部が設定した座標において特定する位置特定ステップと、を実行させるための監視プログラムであって、前記座標設定ステップは、監視を実行するよりも先に、座標の設定を行い、前記位置特定ステップは、前記撮影部(110)が撮影を繰り返すことにより前記監視対象特定部が新たに監視対象を検出すると、監視を実行するよりも先に設定された座標を用いて前記監視対象の位置を特定する監視プログラムである。 A sixteenth aspect of the present invention is, in a surveillance device (100, 200) or a computer of the surveillance system, a photographing step in which a photographing unit (110) performs photographing, and a coordinate setting unit (121) photographs the photographing unit (110). A coordinate setting step of setting a coordinate corresponding to a floor or a ground in a two-dimensional captured image by associating it with an actual dimension based on the captured image captured by the capturing unit (110), and specifying a monitoring target. The part (123) configures a monitoring target specifying step for specifying a monitoring target in the captured image, and the position specifying part configures a monitoring region where the monitoring target specified by the monitoring target specifying part (123) actually exists. In the three-dimensional space, a position specifying step of specifying the position of the monitoring target that can be defined by specific coordinates at the coordinates set by the coordinate setting unit based on the captured image captured by the capturing unit is executed. And a coordinate setting step in which the coordinate setting step is performed before the monitoring is performed, and the position specifying step is performed by the image capturing unit (110) repeating the image capturing. When the specifying unit newly detects a monitoring target, the monitoring program specifies the position of the monitoring target using the coordinates set before the monitoring is performed.
第17の発明は、第16の発明に記載の監視プログラムにおいて、前記座標設定ステップは、前記撮影部(110)の設置後少なくとも1回行われ、前記撮影ステップと、前記監視対象特定ステップと、前記位置特定ステップとは、繰り返し行われること、を特徴とする監視プログラムである。 A seventeenth invention is the monitoring program according to the sixteenth invention, wherein the coordinate setting step is performed at least once after the imaging unit (110) is installed, and the imaging step, the monitoring target specifying step, and The position specifying step is a monitoring program characterized by being repeatedly performed.
本発明によれば、測距部を必要とせず、より簡単に監視を行うことができる監視装置、監視システム、監視方法、監視プログラムを提供することができる。 According to the present invention, it is possible to provide a monitoring device, a monitoring system, a monitoring method, and a monitoring program that can perform monitoring more easily without requiring a distance measuring unit.
以下、本発明を実施するための最良の形態について図面等を参照して説明する。 Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings.
(第1実施形態)
図1は、第1実施形態の監視装置100の構成を示すブロック図である。
なお、図1を含め、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜誇張して示している。
また、以下の説明では、具体的な構成を示して説明を行うが、これらは、適宜変更することができる。
(First embodiment)
FIG. 1 is a block diagram showing the configuration of the
It should be noted that each of the following drawings including FIG. 1 is a schematic view, and the size and shape of each part are exaggerated as appropriate for easy understanding.
Further, in the following description, a specific configuration is shown and described, but these can be appropriately changed.
本実施形態の監視装置100は、撮影部110と、演算処理部120とを備えている。以下では、監視装置100は、撮影部110と演算処理部120とを離れた位置に別々に配置可能として構成した例を挙げて説明する。しかし、撮影部110と演算処理部120とを1つの監視装置としてまとめた構成としてもよい。
The
図2は、撮影部110が取り付けられている形態の一例を示す図である。
撮影部110は、監視対象領域を撮影する、いわゆる監視カメラである。図2には、撮影部110が天井に取り付けられている例を示したが、取り付け場所は、監視対象領域に応じて適宜変更可能である。
本実施形態の撮影部110は、撮像素子111と、撮影レンズ112と、画像処理部113とを備えている。
FIG. 2 is a diagram illustrating an example of a form in which the
The
The
撮像素子111は、撮影レンズ112が結像する像を撮像して、画像処理部113へ送る。また、図2中には、撮影レンズ112の光軸(映像光の光軸)Oと、撮影範囲(角度θの範囲)とを模式的に示した。なお、撮影範囲は、アスペクト比に応じて、上下、左右の各方向における実撮影範囲が異なるので、ここでは、理解を容易にするために図示したような撮影画面における上下方向の撮影範囲を角度θ(垂直方向画角)の範囲として示した。
The
画像処理部113は、撮像素子111から出力されるデータを処理して画像データ化して、演算処理部120へ送信する。
The
演算処理部120は、撮影部110から送信された画像データに対して、監視に必要な演算処理を行うものであり、例えば、パーソナルコンピュータやタブレット端末、スマートフォン等を利用して構成したり、監視動作に特化した専用の装置として構成したりすることができる。いずれの構成においても、演算処理部120は、CPU、メモリ、通信部等のハードウェアを備えており、コンピュータプログラム(監視プログラム)を実行することにより、以下に説明する各種動作、及び、監視方法を具体的に実行可能である。また、演算処理部120内の構成として以下に説明する各部については、その一部を演算処理部120とは別の装置内に構成してもよい。
演算処理部120は、撮影部110から画像データを受信可能なように撮影部110と接続されている。この接続には、専用の通信ケーブルを利用した有線接続としてもよいし、有線LANを用いてもよい。さらに、有線接続に限らず、無線LANや近距離無線通信、携帯電話回線等の各種無線通信を用いてもよい。また、演算処理部120は、撮影部110の近傍に配置せずに、撮影部110から離れた遠隔地に配置してもよい。
第1実施形態の演算処理部120は、座標設定部121と、入力部122と、監視対象特定部123と、位置特定部124と、異常行動検出部125とを備えている。
The
The
The
座標設定部121は、撮影部110が撮影した撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を設定する処理を行う。座標設定部121のより詳しい説明は、後述する。
The coordinate
入力部122は、撮影部110から床面又は地面までの距離(高さh)について、外部からの入力を受け付ける。
また、入力部122は、撮影部110が撮影する映像光の光軸の向き(鉛直方向(Z方向)に対する角度α)の入力を受け付ける。
入力部122は、演算処理部120に設けられたキーボード等の汎用の入力装置を介して入力される値を受け付けてもよいし、設定値が保存された記憶媒体を介して入力される値を受け付けてもよいし、ネットワーク等を介して入力される値を受け付けてもよい。
The
The
The
監視対象特定部123は、監視動作中に、撮影画像中の人物等を自動的に抽出して、これを監視対象として特定し、監視を続ける。
位置特定部124は、監視対象特定部123が特定した監視対象の実際の位置を、座標設定部121が設定した座標に基づいて特定する。
異常行動検出部125は、位置特定部124が特定した監視対象の実際の位置に基づいて、監視対象が異常行動を行っているか否かを判断する。
監視対象特定部123、位置特定部124、異常行動検出部125の具体的な動作については、後述する。
なお、上記における「監視対象の実際の位置」とは、「監視対象」が実際に存在している「監視領域」を構成する3次元空間内において、特定の座標で規定することができる監視対象の位置のことを言う。
The monitoring
The
The abnormal
Specific operations of the monitoring
The "actual position of the monitoring target" in the above refers to the monitoring target that can be defined by specific coordinates in the three-dimensional space that constitutes the "monitoring area" in which the "monitoring target" actually exists. The position of
次に、座標設定部121が行う座標設定動作について、さらに詳しく説明する。
上述したように、座標設定部121は、撮影部110が撮影した撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を設定する処理を行う。この座標設定部121が行う座標の設定は、監視を実行するよりも先に行われることが好ましい。より具体的には、座標設定部121が行う座標の設定は、例えば、監視装置100を設置したときに適切に行われていることが好ましく、これにより、その後、撮影部110の配置を変更したりしない限り、再度の設定を不要とすることができる。
この座標設定部121が設定する座標とは、撮影部110が撮影する撮影画像中において、ある任意の位置を特定し、その位置が床面又は地面にあるとしたときに、その床面又は地面が実際の監視領域の空間においてどの位置に相当するのか特定可能な座標である。すなわち、この設定される座標上の位置は、実寸法と関連付けて設定される。
Next, the coordinate setting operation performed by the coordinate setting
As described above, the coordinate setting
The coordinates set by the coordinate setting
図3は、座標設定部121が座標設定を行うときに撮影される背景画像の一例を示す図である。図3に示した例では、床面501と、壁面502と、陳列棚503とが撮影画像中に含まれている。図3において、床面に平行な面をXY平面とし、XY平面のうち図3中の左右方向をX方向とし、左右方向に直交する奥行方向をY方向とする。また、床面に垂直な鉛直方向をZ方向とする。以下図4、図7〜9、図11においても同様である。
撮影部110が撮影する撮影画像は、二次元の画像情報であることから、撮影画像中である位置を選択(特定)したとしても、実際の三次元空間上のどの位置であるのかを特定することができない。しかし、床面、又は、地面上に実寸法と関連付けた座標を設定した上で、撮影画像中で選択(特定)する位置を、床面、又は、地面であると限定すれば、撮影画像中で選択(特定)された位置が実空間(監視領域)のどの位置の床面、又は、地面であるのかを特定可能となる。そこで、座標設定部121は、床面、又は、地面に対応させた座標を設定する。
FIG. 3 is a diagram illustrating an example of a background image captured when the coordinate setting
Since the photographed image photographed by the photographing
本実施形態の座標設定部121は、撮影部110から床面又は地面までの距離hと、撮影部110が撮影する映像光の光軸Oの向き(角度α)と、撮影部110が撮影する撮影画像の画角(θ)とを用いて座標を設定する。
図2に示すように、撮影部110が撮影する撮影画像中における、中心位置に存在する床面又は地面の実際の中心位置PO、すなわち、撮影レンズ112の光軸Oが床面又は地面と交わる中心位置POは、幾何学的に特定可能である。具体的には、撮影部110が設置されている位置の床面又は地面からの高さhと、光軸Oの向きを特定可能な角度α(光軸Oと鉛直方向Gとのなす角度)とを取得できれば、撮影部110の真下の位置から位置POまでの距離LOを求めることができる。また、垂直方向画角θは、撮像素子111のサイズと撮影レンズ112の諸元から一義的に決まる既知の値であるので、中心位置POから撮影範囲の最近点P1までの距離L1と、中心位置POから撮影範囲の最遠点P2までの距離L2とについても、幾何学的に求めることができる。同様に、これらの中間の任意の位置についても、画像中の位置と実際の位置(実寸法、実距離)とを関連付けることができる。
また、上述した奥行方向(図中のY方向)と同様に、左右方向(図中のX方向)についても、画像中の位置と実際の位置(実寸法、実距離)とを関連付けることができる。
したがって、座標設定部121は、撮影画像中に実際の位置と関連付けされた座標を設定することが可能である。
The coordinate
As shown in FIG. 2, in the captured image captured by the capturing
Further, similarly to the depth direction (Y direction in the drawing) described above, the position in the image and the actual position (actual dimension, actual distance) can be associated with each other in the lateral direction (X direction in the drawing). ..
Therefore, the coordinate setting
図4は、座標設定部121が設定した座標例を説明する図である。図4では、説明のために、図3の撮影画像にY方向及びX方向に実寸法において等間隔となるグリッドを重ねて示した。なお、このようにグリッドで領域を分割することは、一例であって、グリッド分けをせずに連続した座標が設定されている形態であってもよい。
座標設定部121が設定する座標は、床面501(又は地面)が無限に広がっていると仮定して設定されるので、これを説明するために、あえて壁面502や陳列棚503等に対してもグリッドを重ねて表示した。
撮影画像では、実寸法が同じであっても、近くの位置よりも遠くの位置の方が小さく見える。よって、設定された座標において、実寸法上で等間隔のグリッドは、遠方の方が小さくなるように設定される。このように、本実施形態の座標設定部121が設定する座標は、実際の位置(実寸法、実距離)と関連付けられている。
FIG. 4 is a diagram illustrating an example of coordinates set by the coordinate setting
The coordinates set by the coordinate setting
In the photographed image, even at the same actual size, the distant position looks smaller than the near position. Therefore, at the set coordinates, the grids that are evenly spaced on the actual dimension are set to be smaller at the far side. In this way, the coordinates set by the coordinate setting
上記説明では、撮影部110が設置されている位置の床面又は地面からの高さhと、光軸Oの向きを特定可能な角度α(光軸Oと鉛直方向Gとのなす角度)とを取得できれば、撮影部110の真下の位置から位置POまでの距離LOを求めることができると説明した。
ここで、本実施形態の撮影部110は、赤外線等を照射して距離測定を行う距離測定部に相当する構成を備えていない。したがって、特に高さhに関しては、監視装置100が自動的に得られる値ではない。撮影部110が設置される高さは、監視を行う現場に応じて様々である。
そこで、本実施形態の監視装置100では、入力部122が高さhの入力を受け付けることで、適切な高さhを取得する。
In the above description, the height h from the floor surface or the ground where the
Here, the
Therefore, in the
また、光軸Oの向きを特定可能な角度αについても、正しい値を取得する必要がある。ここで説明する第1実施形態の撮影部110は、光軸Oの向きを任意の向きに向けて設置が可能なように構成されているが、設置後は、光軸Oの向きに変化はない。そこで、本実施形態の監視装置100では、角度αについても、入力部122が入力を受け付けることで、適切な角度αを取得する。なお、角度αについては、撮影部110の設置工事時に調整されるので、設置工事完了後に入力が行われる。その際、最終的な調整値を得ることができるように、例えば、撮影部110の向き調整機構に目盛を設けておけば、この目盛に応じた値を入力部122に入力することにより、適切な値を簡単に入力可能である。
なお、光軸Oの向きを変更できない簡素な構成の撮影部110の場合には、この角度αは、その規定値を用いればよいので、入力部122による角度αの入力を省略可能である。
In addition, it is necessary to acquire a correct value for the angle α that can specify the direction of the optical axis O. The
In the case of the
次に、本実施形態の監視装置100の動作について説明する。
図5は、第1実施形態の監視装置100の動作の流れを示すフローチャートである。
ステップ(以下、Sとする)11では、座標設定部121が、座標設定処理を行う。
図6は、第1実施形態における座標設定処理の動作の流れを示すフローチャートである。
S101では、入力部122が、高さhと角度αの入力を受け付ける。
S102では、座標設定部121が、座標を設定する座標設定処理を行い、座標設定処理を終了する。
なお、第1実施形態では、上述したように、入力部122を用いて、高さhと角度αの入力が行われれば、上述したように座標の演算自体は、容易であるので、ここでの重複する説明は省略する。
Next, the operation of the
FIG. 5 is a flowchart showing the flow of operations of the
In step (hereinafter referred to as S) 11, the coordinate setting
FIG. 6 is a flowchart showing the operation flow of the coordinate setting process in the first embodiment.
In S101, the
In S102, the coordinate setting
In the first embodiment, as described above, if the height h and the angle α are input using the
S12では、撮影部110が監視撮影を行う。ここで、監視撮影は、静止画の撮影を所定間隔で連続して行い、撮影される画像の連続として後述する監視動作を行うが、撮影間隔を非常に短くすることにより、実質的には、動画撮影として、監視動作を行っているものと捉えることができる。
In S12, the
S13では、監視対象特定部123が、監視対象を検出したか否かについて判断を行う。監視対象を検出した場合(S13、Yes)には、S14へ進み、監視対象が検出されていない場合(S13、No)には、S12へ戻り、監視動作を継続する。ここで、監視対象の検出の具体的な手法は、従来から公知の様々な手法のいずれか、又は、それらを組み合わせて用いることができる。ここでは、一例として、Zhe Cao 他 Realtime Multi−Person 2D Human Pose Estimation using Part Affinity Fields, CVPR 2017 に開示されている技術を用いた。この技術(以下、OpenPoseと呼ぶ)では、二次元画像から人物の骨格を抽出することができる。
In S13, the monitoring
S14では、位置特定部124が、監視対象の位置を座標上で特定する。
図7は、監視撮影における撮影画像の一例を示す図である。
図8は、図7の撮影画像の例において、監視対象を検出して、その結果を座標のグリッドとともに撮影画像と重ねて表示した例である。
なお、表示部は、監視装置100において必須の要件ではないが、ここでは理解を容易にするために、表示例を示す。
OpenPoseを用いれば、撮影画像中から人物を抽出できるだけなく、図7に示すように人物の骨格Bを大まかにではあるが抽出できる。
図9は、抽出した監視対象の骨格Bと座標のグリッドとを重ねて示した図である。
位置特定部124は、図9に示すように、骨格Bの足下の位置が、どの座標にあるかによって、監視対象の位置を特定する。すなわち、抽出された骨格Bの足の先端部の位置を監視対象の足下の位置と推定して、この骨格Bの足の先端部の座標位置を、監視対象の位置であると特定する。図9中には、特定した座標の対応するグリッド位置にハッチングを付して示した。
In S14, the
FIG. 7 is a diagram illustrating an example of a captured image in surveillance imaging.
FIG. 8 is an example in which the monitoring target is detected in the example of the photographed image of FIG. 7, and the result is displayed together with the grid of coordinates in the photographed image.
The display unit is not an essential requirement for the
If OpenPose is used, not only a person can be extracted from the captured image, but also a skeleton B of the person can be roughly extracted as shown in FIG.
FIG. 9 is a diagram in which the extracted skeleton B to be monitored and the grid of coordinates are overlapped and shown.
As shown in FIG. 9, the
図5のフローチャートに戻って、S15では、異常行動検出部125が、監視対象が異常行動を行っているか否かを判断する。異常行動を行っていると判断した場合(S15、Yes)には、S16へ進み、異常行動を行っていないと判断した場合(S15、No)には、S12へ戻る。
例えば、異常行動検出部125は、監視対象が進入禁止の位置に浸入したことを検知したり、一定の位置に所定時間以上留まっていること、或いは、短時間のうちに一定の位置の周囲を徘徊する行動等、を検知したりした場合等に、異常行動を行っていると判断する。なお、異常行動検出部125の上記判断例は、簡単な構成を例示したに過ぎず、様々な条件の組み合せからより高度な異常行動の検出を行うことが可能である。
Returning to the flowchart of FIG. 5, in S15, the abnormal
For example, the abnormal
S16では、演算処理部120が、異常行動を検知した場合に行われる異常検知処理を行う。異常検知処理としては、従来から公知の様々な処理を適宜利用可能である。例えば、警告音を発したり、警告表示を行ったりするといった簡単な処理であってもよいし、管理者や警備会社等への通報をさらに行ってもよい。また、異常行動の種類やレベルに応じて、異常検知処理の内容を変更してもよい。
In S16, the
S17では、演算処理部120が、監視を終了するか否かを判断する。監視終了は、例えば、監視終了の命令が入力された場合に終了と判断される。終了する場合(S17、Yes)には、監視動作を終了し、それ以外の場合(S17、No)には、S12へ戻り、監視を継続する。
なお、上述の説明では、簡単のため、監視対象を単数である例を挙げて説明したが、店舗等での使用を想定すると、監視対象は複数検出されることが通常である。したがって、本実施形態の監視装置100においても、複数の監視対象に対して対応可能である。複数の監視対象が検出された場合には、例えば、S13からS17の動作を監視対象ごとに並列で処理を行う。
In S17, the
In the above description, for simplification, the example in which the monitoring target is singular is given as an example, but assuming that the monitoring target is used in a store or the like, it is usual that a plurality of monitoring targets are detected. Therefore, the
以上説明したように、第1実施形態によれば、撮影部110に測距部を設けることなく、撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を撮影部110が撮影した撮影画像に基づいて設定することができる。よって、撮影システムの構成をより簡単にすることができる。そして、座標が設定されることにより、撮影画像のみから監視対象の位置を正確に把握することができ、簡易なシステムであっても精度の高い監視体制を実現できる。
As described above, according to the first embodiment, the position corresponding to the floor surface or the ground in the captured image is associated with the actual size to capture the identifiable coordinates without providing the distance measuring unit in the
(第2実施形態)
図10は、第2実施形態における座標設定処理の動作の流れを示すフローチャートである。
第2実施形態は、座標設定処理の動作が異なる他は、第1実施形態と同様な形態である。よって、前述した第1実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
第2実施形態において座標設定処理を開始すると、S201では、高さh及び角度αの入力を行うか否かを判断する。この判断は、例えば、不図示の表示部等を利用して、作業者による選択入力の結果に応じて行われる。入力を行う場合(S201、Yes)には、S202へ進み、入力を行わない場合(S201、No)には、S204へ進む。
S202では、入力部122が、高さhと角度αの入力を受け付ける。
S203では、座標設定部121が、座標を設定する座標設定処理を行い、座標設定処理を終了する。なお、このS202,S203の動作は、第1実施形態のS101,S102と同様な処理である。
(Second embodiment)
FIG. 10 is a flowchart showing the operation flow of the coordinate setting process in the second embodiment.
The second embodiment is similar to the first embodiment except that the operation of the coordinate setting process is different. Therefore, the same reference numerals are given to the portions that perform the same functions as those in the above-described first embodiment, and the overlapping description will be appropriately omitted.
When the coordinate setting process is started in the second embodiment, it is determined in S201 whether or not the height h and the angle α are input. This determination is made in accordance with the result of the selection input by the operator, for example, using a display unit (not shown) or the like. When the input is performed (S201, Yes), the process proceeds to S202, and when the input is not performed (S201, No), the process proceeds to S204.
In S202, the
In S203, the coordinate setting
S204では、演算処理部120が、基準被写体の撮影を行うか否かの判断を行う。この判断も、作業者による選択入力に基づいて行われる。入力を行う場合(S204、Yes)には、S205へ進み、入力を行わない場合(S204、No)には、S201へ戻る。ここで、基準被写体とは、予め形状及び寸法が既知の被写体であり、この基準被写体を撮影することにより、撮影画面内のどの位置で既知の寸法がどのように撮影されているかを演算することにより、高さhと角度αの入力を行わなくても、精度の高い座標設定を行うことが可能である。また、基準被写体としては、座標設定用に作製された専用の設定用被写体であることが望ましいが、座標設定時に撮影範囲内に含まれる背景物品(例えば、陳列棚503)を基準被写体として利用してもよい。その場合には、基準被写体とする背景物品の実寸法や形状等を入力可能とするとよい。
In S204, the
S205では、撮影部110が、基準被写体を含めて背景の撮影を行う。
S206では、座標設定部121が、基準被写体に基づいて座標設定処理を行う。
図11は、設定用被写体を含めて背景の撮影を行った撮影画像を示す図である。図11のように、床面に置かれた設定用被写体Sの形状及び寸法が既知であることから、撮影画像中で設定用被写体Sがどのような寸法で撮影されているのかに基づいて、床面又は地面と撮影部110との位置関係と撮影部110の向きを求めることができ、精度の高い座標を設定可能である。
なお、図11では、設定用被写体Sは、正方形に形成された単純なものを床面に沿って置く例を示した。特に正方形の設定用被写体Sを用いれば、撮影画像内で認識される設定用被写体Sの各辺の寸法差に基づいて、幅方向と奥行き方向の座標系を、より簡易な演算で高精度に設定することができる。これに限らず、例えば、自動検出用のマークや目盛等が設けられた形態としてもよいし、床面に垂直に立てて配置するものであってもよい。また、設定用被写体Sは、正方形に限らず、長方形や三角形等、他の形状であってもよい。
In S205, the
In S206, the coordinate setting
FIG. 11 is a diagram showing a captured image in which the background is captured including the setting subject. As shown in FIG. 11, since the shape and size of the setting subject S placed on the floor are known, based on what size of the setting subject S is photographed in the photographed image, The positional relationship between the floor surface or the ground and the
Note that FIG. 11 shows an example in which the setting subject S is a simple square object placed along the floor surface. In particular, if the square setting subject S is used, the coordinate system in the width direction and the depth direction can be calculated with higher accuracy by simple calculation based on the dimensional difference of each side of the setting subject S recognized in the captured image. Can be set. However, the present invention is not limited to this, and for example, a mark or scale for automatic detection may be provided, or it may be arranged so as to stand upright on the floor surface. Further, the setting subject S is not limited to a square, but may be another shape such as a rectangle or a triangle.
第2実施形態によれば、基準被写体を座標設定に利用することができ、座標設定の作業をより簡単、かつ、精度よく行うことができる。 According to the second embodiment, the reference subject can be used for coordinate setting, and the coordinate setting work can be performed more easily and accurately.
(第3実施形態)
図12は、第3実施形態の監視装置200の構成を示すブロック図である。
第3実施形態の監視装置200は、撮影部110に駆動部114と光軸検出部115とを備える点と、座標設定部121による座標設定の動作が異なる他は、第1実施形態の監視装置100と同様な構成をしている。よって、前述した第1実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
(Third Embodiment)
FIG. 12 is a block diagram showing the configuration of the
The
上述したように、第3実施形態の撮影部110は、駆動部114と光軸検出部115とを備えている。
駆動部114は、撮影部110の向きを移動させる駆動機構である。よって、駆動部114の駆動によって、撮影レンズ112の光軸Oの向き、すなわち、撮影される監視領域を変更させることができる。駆動部114の具体的な構成については、従来から様々な構成が公知であり、そのうちのどのような構成を採用してもよい。例えば、天井に取り付けられる撮影部110においては、鉛直方向に平行な軸まわりにおける回転(φz)と、この鉛直方向の軸に直交する方向の軸(水平方向に平行な軸、例えばX軸)まわりにおける回転(φx)との2つの回転を組み合わせる構成を採用すれば、広範囲の監視が可能である。
光軸検出部115は、撮影レンズ112の光軸Oの向きを取得できるように構成されている。例えば、ロータリーエンコーダ等のセンサを備えたり、駆動部114の駆動用にステッピングモーターを用いていたりすることにより、撮影レンズ112の光軸Oの向きを取得可能である。
As described above, the
The
The optical
図13は、第3実施形態における座標設定処理の動作の流れを示すフローチャートである。
第3実施形態では、第1実施形態のような高さhと角度αの入力を行わず、複数回の撮影を行うことにより、座標設定を自動的に行うことが可能である。
FIG. 13 is a flowchart showing the flow of the operation of the coordinate setting process in the third embodiment.
In the third embodiment, it is possible to automatically set the coordinates by performing photographing a plurality of times without inputting the height h and the angle α as in the first embodiment.
S301では、座標設定部121が、撮影部110を制御して第1の方向(φx1、φz1)に撮影部110を向ける。
S302では、座標設定部121が、撮影部110を制御して撮影部110を第1の方向に向けたまま第1の撮影を行う。
In S301, the coordinate setting
In S302, the coordinate setting
S303では、座標設定部121が、撮影部110を制御して第2の方向(φx2、φz2)に撮影部110を向ける。ここで、第2の方向は、第1の方向とは異なる方向であって、かつ、第1の方向と第2の方向とで共通の被写体が含まれていることが望ましい。さらに、この共通の被写体は、床面又は地面に近い位置にあることがさらに望ましい。
S304では、座標設定部121が、撮影部110を制御して撮影部110を第2の方向に向けたまま第2の撮影を行う。
In S303, the coordinate setting
In S304, the coordinate setting
S305では、座標設定部121が、第1の撮影及び第2の撮影のそれぞれで得られた撮影画像を用いて、座標設定を行う。このとき、第1の方向、及び、第2の方向のそれぞれにおいて、光軸検出部115の検出結果から、光軸Oの向きが正確にわかっているので、第1の撮影の撮影画像、及び、第2の撮影の撮影画像の双方に含まれている共通の被写体の形状、寸法、撮影画面中における位置の変化から、撮影部110が、床面又は地面とどのような位置関係にあるのかが演算により求めることができる。よって、座標設定部121は、上記2つの撮影結果から、正確に座標を設定可能である。なお、上記共通の被写体については、例えば、画像認識によって座標設定部121が自動的に共通被写体を設定して演算するように構成することができる。さらに、共通被写体として、第2実施形態に示した設定用被写体Sを組み合わせると、より精度の高い座標設定が可能である。
また、ここでは、第1の方向と第2の方向の2方向それぞれの位置で撮影を行う例を示したが、より多くの方向で撮影を行って座標を設定してもよいし、駆動部114を駆動しながら連続的に撮影を行いながら座標を求めるようにしてもよい。
In S305, the coordinate setting
In addition, here, an example in which the image capturing is performed in each of the two directions of the first direction and the second direction has been described, but the image capturing may be performed in more directions and the coordinates may be set. The coordinates may be obtained while continuously shooting while driving 114.
第3実施形態によれば、入力操作を行ったり、基準被写体を配置したりすることなく、自動的に座標設定を行うことができ、より簡単に座標の設定を行うことができる。 According to the third embodiment, the coordinates can be automatically set without performing an input operation or arranging the reference subject, and the coordinates can be set more easily.
(第4実施形態)
図14は、第4実施形態の監視装置400の構成を示すブロック図である。
第4実施形態は、第1実施形態の座標設定部121が行なう座標設定に相当する処理を行なわずに、監視対象の実際の位置を特定するようにした形態である。前述した第1実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
(Fourth Embodiment)
FIG. 14 is a block diagram showing the configuration of the
The fourth embodiment is a form in which the actual position of the monitoring target is specified without performing the process corresponding to the coordinate setting performed by the coordinate setting
第4実施形態の演算処理部420は、条件設定部421と、入力部422と、監視対象特定部423と、位置特定部424と、異常行動検出部425とを備えている。
条件設定部421は、撮影部110の設置状況、より具体的には、地面(床面)と撮影部110の撮影範囲との位置関係の条件を設定する。
入力部422は、撮影部110から床面又は地面までの距離(高さh)について、外部からの入力を受け付ける。
監視対象特定部423は、監視動作中に、撮影画像中の人物等を自動的に抽出して、これを監視対象として特定し、監視を続ける。
位置特定部424は、監視対象特定部123が特定した監視対象の実際の位置を特定する。第4実施形態では、この位置特定部424の機能が、第1実施形態と大きく異なっている。
異常行動検出部425は、位置特定部124が特定した監視対象の実際の位置に基づいて、監視対象が異常行動を行っているか否かを判断する。
The
The
The
During the monitoring operation, the monitoring
The
The abnormal
次に、本実施形態の監視装置400の動作について説明する。
図15は、第4実施形態の監視装置400の動作の流れを示すフローチャートである。
S411では、条件設定部421が、条件設定処理を行う。
図16は、第4実施形態における条件設定処理の動作の流れを示すフローチャートである。
S421では、入力部122が、高さhの入力を受け付ける。
S422では、条件設定部121が、消失点Vと、消失点Vから撮影部110へ引かれる仮想直線L0が床面(又は、地面)とのなす角度β0を求める。
Next, the operation of the
FIG. 15 is a flowchart showing the flow of operations of the
In S411, the
FIG. 16 is a flowchart showing the operation flow of the condition setting process in the fourth embodiment.
In S421, the
In S422, the
図17は、基準被写体と消失点を説明する図であり、撮影部110により撮影された画像に相当する。
本実施形態では、基準被写体として、図17中の壁面Wを用いている。この壁面Wの上端部のラインL1と下端部のラインL2とは、実物では、両者が平行であって、かつ、水平に延在しているが、撮影画像中では、遠くに行くにしたがって両者の間の間隔が狭くなって撮影される。そして、これら2本のラインL1、L2を仮想的に図中の一点鎖線のように延長して交わる点が、消失点Vとなる。
FIG. 17 is a diagram for explaining the reference subject and the vanishing point, and corresponds to the image captured by the
In this embodiment, the wall surface W in FIG. 17 is used as the reference subject. The line L1 at the upper end of the wall surface W and the line L2 at the lower end of the wall surface W are parallel to each other and extend horizontally in the actual product, but in the photographed image, the line L1 and the line L2 extend farther from each other. The space between them is narrowed and the picture is taken. The vanishing point V is a point where these two lines L1 and L2 are virtually extended and intersect with each other like a chain line in the drawing.
なお、ラインL1、L2の設定は、画像処理によって自動的、又は、基準被写体をオペレータが指定することによって半自動的に行なわれるようにしてもよいし、オペレータが撮影画像中の基準被写体に基づいて手動でラインを指定(ライン上の2点をマウス等のポインティングデバイス等により指定)してもよい。 The lines L1 and L2 may be set automatically by image processing or semi-automatically by the operator specifying a reference subject, or the operator may set the lines L1 and L2 based on the reference subject in the captured image. The line may be designated manually (two points on the line are designated by a pointing device such as a mouse).
図18は、撮影部110が取り付けられている形態を横方向から模式的に示す図である。なお、図18を含め、以下の図中で、網点で塗りつぶした領域は、撮影部110の撮影範囲である。
消失点Vが撮影画像中で特定できたら、その消失点Vの撮影画像中における縦方向の座標値を求める。以下、この撮影画像中における縦方向の座標をSY座標、横方向の座標をSX座標と呼び、実際の空間において設定したX座標、及び、Y座標と区別することとする。したがって、SY座標、SX座標は、画素単位の数値で位置を表すことになる。
消失点Vの撮影画像中における縦方向の座標値VSYを求めたら、以下の式により、角度β0を求めることができる。なお、角度β0は、監視対象のある床面又は地面の位置から撮影部110へ向けて引いた仮想線が床面となす角度である。
β0=θY−(K×VSY) ・・・式(1)
ここで、θYは、撮影部110の縦方向(SY方向)の画角である。また、Kは、撮影部係数である。
FIG. 18 is a diagram schematically showing a form in which the
When the vanishing point V can be specified in the captured image, the vertical coordinate value of the vanishing point V in the captured image is obtained. Hereinafter, the vertical coordinate in the captured image will be referred to as the SY coordinate, and the horizontal coordinate will be referred to as the SX coordinate, to be distinguished from the X coordinate and the Y coordinate set in the actual space. Therefore, the SY coordinate and the SX coordinate represent the position by the numerical value of the pixel unit.
When the vertical coordinate value V SY of the vanishing point V in the captured image is obtained, the angle β0 can be obtained by the following equation. The angle β0 is an angle formed by a virtual line drawn from the position of the floor surface or the ground where the object is monitored toward the
β0=θY−(K×V SY )... Formula (1)
Here, θY is the angle of view in the vertical direction (SY direction) of the
図15に戻って、S412の監視撮影、及び、S413の監視対象検出の処理は、第1実施形態のS12及びS13と同様の処理を行なう。 Returning to FIG. 15, the monitoring imaging in S412 and the monitoring target detection processing in S413 perform the same processing as S12 and S13 in the first embodiment.
S414では、位置特定部124が、監視対象の実際の位置を特定する。
監視対象の実際の位置を特定するためには、先ず、監視対象のY方向の実際の位置として、撮影部110直下から監視対象までのY方向の実際の距離LY(監視対象が人であれば、その足下までのY方向の距離)を求める。
図19は、撮影部110と監視対象との関係を上方から見た状態として模式的に示す図である。
図20は、撮影部110と監視対象との関係を横方向から模式的に示す図である。
先ず、図19、図20中に示した距離LYを、以下の式により求める。
β1=PSY/(PNSY/θY)−β0 ・・・式(2)
LY=h/(tan(β1)) ・・・式(3)
ここで、PSYは、撮影画像中の縦方向(SY方向)の座標値(画素数)であり、PNSYは、撮影画像全体の縦方向(SY方向)の座標値(画素数)である。
In S414, the
In order to specify the actual position of the monitoring target, first, as the actual position of the monitoring target in the Y direction, the actual distance LY in the Y direction from immediately below the
FIG. 19 is a diagram schematically showing the relationship between the
FIG. 20 is a diagram schematically showing the relationship between the
First, the distance LY shown in FIGS. 19 and 20 is obtained by the following formula.
β1=P SY /(PN SY /θY)−β 0 (2)
LY=h/(tan(β1)) Equation (3)
Here, PSY is a coordinate value (pixel number) in the vertical direction (SY direction) in the captured image, and PNSY is a coordinate value (pixel number) in the vertical direction (SY direction) of the entire captured image. ..
図21は、より詳細な説明を図19に追加した図である。
X方向の位置を考慮するために、図21に示す各寸法をさらに求める。
先ず、撮影画像のX方向における中心線Oから監視対象のSX方向の座標値(画素数)である画像中距離を求める。
PX=|PSX−(PNSX/2)| ・・・式(4)
ここで、PSXは、監視対象の撮影画像中の横方向(SX方向)の座標値(画素数)であり、PNSXは、撮影画像全体の縦方向(SY方向)の座標値(画素数)である。
21 is a diagram in which a more detailed description is added to FIG.
In order to consider the position in the X direction, each dimension shown in FIG. 21 is further obtained.
First, the image middle distance, which is the coordinate value (pixel number) of the monitoring target in the SX direction, is obtained from the center line O in the X direction of the captured image.
P X =|P SX −(PN SX /2)| Equation (4)
Here, P SX is a coordinate value (pixel number) in the horizontal direction (SX direction) in the captured image to be monitored, and PN SX is a coordinate value (pixel number) in the vertical direction (SY direction) of the entire captured image. ).
次に、図21中の角度β2を求める。なお、監視対象の床面又は地面から撮影部110直下へ向かって引いた仮想線がX軸(SX軸)となす角度である。
β2=90−(PX×(θX/PNSX) ・・・式(5)
ここで、θXは、撮影部110のX方向における画角である。
Next, the angle β2 in FIG. 21 is obtained. An imaginary line drawn from the floor surface or the ground to be monitored directly below the
β2=90−(P X ×(θX/PN SX )... Formula (5)
Here, θX is the angle of view of the
最後に、以下の式により、監視対象の床面又は地面から撮影部110直下までの距離LPを求める。
LP=LY/sin(β2) ・・・式(6)
このようにして、本実施形態の位置特定部424は、監視対象の位置を具体的に特定することができる。
Finally, the distance LP from the floor surface or the ground to be monitored to directly below the
LP=LY/sin(β2)... Formula (6)
In this way, the
図15のフローチャートに戻って、S415からS417の各処理を行なうが、これらの動作については、第1実施形態の図5におけるS15からS17と同様である。 Returning to the flowchart of FIG. 15, each processing of S415 to S417 is performed, but these operations are the same as S15 to S17 in FIG. 5 of the first embodiment.
以上説明したように、第4実施形態によれば、より簡易的な手法により、正確に監視対象の位置を特定することができる。 As described above, according to the fourth embodiment, the position of the monitoring target can be accurately specified by a simpler method.
(変形形態)
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の範囲内である。
(Variation)
The present invention is not limited to the embodiment described above, and various modifications and changes can be made, which are also within the scope of the present invention.
(1)各実施形態において、撮影レンズ112の焦点距離については、固定焦点であることを前提として説明を行った。しかし、撮影レンズ112は、ズームレンズや多焦点レンズ等として、焦点距離(画角)を変更できる構成としてもよい。その場合、撮影レンズ112の撮影時の焦点距離を撮影レンズ112から演算処理部120が取得するようにするとよい。
(1) In each of the embodiments, the focal length of the taking
(2)各実施形態において、撮影部110が1つ設けられていることを前提として説明を行ったが、撮影部110は、複数配置された監視システムとして構成してもよい。その場合、演算処理部120が複数の撮影部110を統括的に制御して、共通の座標を設定することにより、簡単な構成であっても、死角の少ない監視体制を構築可能である。
(2) In each of the embodiments, the description has been made on the assumption that one
(3)各実施形態において、座標設定部121が設定する座標は、図4に示すようなXY直交座標系である形態を例示した。これに限らず、例えば、座標設定部121が設定する座標は、円座標、円柱座標、球座標等の極座標系であってもよい。
(3) In each embodiment, the coordinate set by the coordinate setting
(4)各実施形態において、撮影部110は、天井に固定されている例を挙げて説明した。これに限らず、例えば、撮影部110は、壁面や家具等、他の場所に固定されていてもよい。また、撮影部110は、監視領域内を移動可能な移動体(例えば、監視ロボット)に設けて、移動可能な構成となっていてもよい。座標が設定されれば、移動体(撮影部110)が移動しても、自らの存在する座標を逐次取得可能であり、座標を利用した監視動作を上記実施形態と同様にして行うことができる。
(4) In each of the embodiments, the
(5)各実施形態において、人物を監視対象として説明を行なった。これに限らず、例えば、監視対象は、動物であっても、物品等であってもよい。物品の場合は、例えば、一定時間、物品が放置された状態を検出したら、警報を行なう等することができる。 (5) In each of the embodiments, a person has been described as a monitoring target. Not limited to this, for example, the monitoring target may be an animal, an article, or the like. In the case of an article, for example, when it is detected that the article is left for a certain period of time, an alarm can be given.
(6)各実施形態において、監視対象の実際の位置が具体的に把握可能であることから、画像中の監視対象、その他の寸法を容易に求めることが可能となる。したがって、例えば、監視対象の寸法等を求める機能等を監視装置に追加してもよい。例えば、監視対象の寸法を自動的に表示したり、複数の監視対象間の距離を表示したり、オペレータが指定した任意の2点間の距離を表示したりしてもよい。 (6) In each embodiment, since the actual position of the monitoring target can be specifically grasped, the monitoring target in the image and other dimensions can be easily obtained. Therefore, for example, a function or the like for obtaining the dimensions of the monitoring target may be added to the monitoring device. For example, the size of the monitoring target may be automatically displayed, the distance between a plurality of monitoring targets may be displayed, or the distance between any two points designated by the operator may be displayed.
なお、各実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した各実施形態によって限定されることはない。 It should be noted that the respective embodiments and modified embodiments may be used in combination as appropriate, but detailed description thereof will be omitted. Further, the present invention is not limited to the embodiments described above.
100 監視装置
110 撮影部
111 撮像素子
112 撮影レンズ
113 画像処理部
114 駆動部
115 光軸検出部
120 演算処理部
121 座標設定部
122 入力部
123 監視対象特定部
124 位置特定部
125 異常行動検出部
200 監視装置
400 監視装置
420 演算処理部
421 条件設定部
422 入力部
423 監視対象特定部
424 位置特定部
425 異常行動検出部
501 床面
502 壁面
503 陳列棚
100
Claims (17)
前記撮影部が撮影した二次元の撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を前記撮影部が撮影した撮影画像に基づいて設定する座標設定部と、
前記撮影部が撮影した撮影画像中の監視対象を特定する監視対象特定部と、
を備え、
前記監視対象特定部が特定した監視対象が実際に存在している監視領域を構成する三次元空間内において、特定の座標で規定することができる監視対象の位置を前記撮影部が撮影した撮影画像に基づいて座標設定部が設定した座標において特定する位置特定部と、
を備え、
前記座標設定部は、監視を実行するよりも先に、座標の設定を行い、
前記位置特定部は、前記撮影部が撮影を繰り返すことにより前記監視対象特定部が新たに監視対象を検出すると、監視を実行するよりも先に設定された座標を用いて前記監視対象の位置を特定する監視装置。 The shooting department,
A coordinate setting unit that sets coordinates that can be specified by associating a position corresponding to the floor surface or the ground in the two-dimensional captured image captured by the capturing unit with actual dimensions, based on the captured image captured by the capturing unit,
A monitoring target specifying unit that specifies a monitoring target in a captured image captured by the capturing unit;
Equipped with
In the three-dimensional space forming the monitoring area where the monitoring target specified by the monitoring target specifying unit actually exists, a captured image obtained by shooting the position of the monitoring target that can be defined by specific coordinates. A position specifying unit that specifies the coordinates set by the coordinate setting unit based on
Equipped with
The coordinate setting unit sets coordinates before performing monitoring,
When the monitoring target specifying unit newly detects a monitoring target by the imaging unit repeating shooting, the position specifying unit determines the position of the monitoring target by using the coordinates set before the monitoring is performed. Monitoring device to identify.
前記座標設定部は、前記撮影部から床面又は地面までの距離と、前記撮影部が撮影する映像光の光軸の向きと、前記撮影部が撮影する撮影画像の画角とを用いて座標を設定すること、
を特徴とする監視装置。 The monitoring device according to claim 1,
The coordinate setting unit uses the distance from the image capturing unit to the floor surface or the ground, the direction of the optical axis of the image light captured by the image capturing unit, and the angle of view of the captured image captured by the image capturing unit. Setting,
Monitoring device characterized by.
少なくとも前記撮影部から床面又は地面までの距離について、外部からの入力を受け付ける入力部を備えること、
を特徴とする監視装置。 The monitoring device according to claim 2,
At least a distance from the imaging unit to the floor surface or the ground is provided with an input unit that receives an input from the outside,
Monitoring device characterized by.
前記入力部は、前記撮影部が撮影する映像光の光軸の向きの入力を受け付けること、
を特徴とする監視装置。 The monitoring device according to claim 3,
The input unit receives an input of the direction of the optical axis of the image light captured by the capturing unit,
Monitoring device characterized by.
前記撮影部は、前記撮影部が撮影する映像光の光軸の向きを検出可能な光軸検出部を備え、
前記座標設定部は、前記光軸検出部が検出した前記映像光の光軸の向きを用いて座標を設定すること、
を特徴とする監視装置。 In the monitoring device according to claim 2 or 3,
The photographing unit includes an optical axis detection unit capable of detecting a direction of an optical axis of image light photographed by the photographing unit,
The coordinate setting unit sets coordinates using the direction of the optical axis of the image light detected by the optical axis detection unit,
Monitoring device characterized by.
前記撮影部は、前記撮影部が撮影する映像光の光軸の向きを変更可能な駆動部を備えており、
前記座標設定部は、複数の異なる前記光軸の向きにおいて前記撮影部が撮影する撮影画像及び前記光軸検出部が検出した前記映像光の光軸の向きを用いて座標を設定すること、
を特徴とする監視装置。 The monitoring device according to claim 5,
The photographing unit includes a drive unit capable of changing the direction of the optical axis of the image light photographed by the photographing unit,
The coordinate setting unit sets coordinates using a captured image captured by the capturing unit in a plurality of different optical axis directions and an optical axis direction of the video light detected by the optical axis detection unit,
Monitoring device characterized by.
前記座標設定部は、基準被写体を前記撮影部により撮影した撮影画像を用いて座標を設定すること、
を特徴とする監視装置。 The monitoring device according to any one of claims 1 to 6,
The coordinate setting unit sets coordinates using a captured image obtained by capturing the reference subject by the capturing unit;
Monitoring device characterized by.
前記基準被写体は、座標設定時に撮影範囲内に設置される寸法が既知の設定用被写体であること、
を特徴とする監視装置。 The monitoring device according to claim 7,
The reference subject is a setting subject whose dimensions are known to be installed within the shooting range when coordinates are set,
Monitoring device characterized by.
前記基準被写体は、座標設定時に撮影範囲内に含まれる背景物品であること、
を特徴とする監視装置。 The monitoring device according to claim 7,
The reference subject is a background article included in the shooting range when the coordinates are set,
Monitoring device characterized by.
位置特定部は、撮影画像に含まれる情報から求めた消失点に基づいて、監視対象の位置を特定すること、
を特徴とする監視装置。 The monitoring device according to claim 1,
The position specifying unit specifies the position of the monitoring target based on the vanishing point obtained from the information included in the captured image,
Monitoring device characterized by.
当該監視装置を構成する部位のうちの少なくとも1つは、他の部位から離れた場所に配置されており、通信を介して接続されていること、
を特徴とする監視装置。 The monitoring device according to any one of claims 1 to 10,
At least one of the constituent parts of the monitoring device is arranged at a place distant from other parts, and is connected via communication.
Monitoring device characterized by.
前記撮影部が撮影した二次元の撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を前記撮影部が撮影した撮影画像に基づいて設定する座標設定部と、
前記撮影画像中の監視対象を特定する監視対象特定部と、
前記監視対象特定部が特定した監視対象が実際に存在している監視領域を構成する三次元空間内において、特定の座標で規定することができる監視対象の位置を前記撮影部が撮影した撮影画像に基づいて座標設定部が設定した座標において特定する位置特定部と、
を備え、
前記座標設定部は、監視を実行するよりも先に、座標の設定を行い、
前記位置特定部は、前記撮影部が撮影を繰り返すことにより前記監視対象特定部が新たに監視対象を検出すると、監視を実行するよりも先に設定された座標を用いて前記監視対象の位置を特定する監視システム。 Multiple shooting units,
A coordinate setting unit that sets coordinates that can be specified by associating a position corresponding to the floor surface or the ground in the two-dimensional captured image captured by the capturing unit with actual dimensions, based on the captured image captured by the capturing unit,
A monitoring target specifying unit that specifies a monitoring target in the captured image,
In the three-dimensional space forming the monitoring area where the monitoring target specified by the monitoring target specifying unit actually exists, a captured image obtained by shooting the position of the monitoring target that can be defined by specific coordinates. A position specifying unit that specifies the coordinates set by the coordinate setting unit based on
Equipped with
The coordinate setting unit sets coordinates before performing monitoring,
When the monitoring target specifying unit newly detects a monitoring target by the imaging unit repeating shooting, the position specifying unit determines the position of the monitoring target by using the coordinates set before the monitoring is performed. Surveillance system to identify.
前記座標設定部は、複数の前記撮影部が撮影する撮影画像における座標を同一の座標として共通化すること、
を特徴とする監視システム。 The monitoring system according to claim 12,
The coordinate setting unit shares the coordinates in the captured images captured by the plurality of capturing units as the same coordinate.
A monitoring system characterized by.
座標設定部が、前記撮影部が撮影した二次元の撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を前記撮影部が撮影した撮影画像に基づいて設定する座標設定ステップと、
監視対象特定部が、撮影画像中の監視対象を特定する監視対象特定ステップと、
位置特定部が、前記監視対象特定部が特定した監視対象が実際に存在している監視領域を構成する三次元空間内において、特定の座標で規定することができる監視対象の位置を前記撮影部が撮影した撮影画像に基づいて座標設定部が設定した座標において特定する位置特定ステップと、
を備え、
前記座標設定ステップは、監視を実行するよりも先に、座標の設定を行い、
前記位置特定ステップは、前記撮影部が撮影を繰り返すことにより前記監視対象特定部が新たに監視対象を検出すると、監視を実行するよりも先に設定された座標を用いて前記監視対象の位置を特定する監視方法。 A shooting step in which the shooting unit performs shooting,
The coordinate setting unit sets a coordinate that can be specified by associating a position corresponding to the floor or the ground in the two-dimensional captured image captured by the capturing unit with the actual size, based on the captured image captured by the capturing unit. Coordinate setting step,
The monitoring target specifying unit, a monitoring target specifying step of specifying the monitoring target in the captured image,
In the three-dimensional space forming the monitoring area in which the monitoring target specified by the monitoring target specifying unit actually exists, the position specifying unit defines the position of the monitoring target that can be defined by specific coordinates, in the imaging unit. A position specifying step of specifying at the coordinates set by the coordinate setting unit based on the captured image captured by
Equipped with
In the coordinate setting step, the coordinates are set before the monitoring is performed,
In the position specifying step, when the monitoring target specifying unit newly detects a monitoring target by repeating the photographing by the photographing unit, the position of the monitoring target is determined using the coordinates set before the monitoring is performed. The monitoring method to identify.
前記座標設定ステップは、前記撮影部の設置後少なくとも1回行われ、
前記撮影ステップと、前記監視対象特定ステップと、前記位置特定ステップとは、繰り返し行われること、
を特徴とする監視方法。 The monitoring method according to claim 14,
The coordinate setting step is performed at least once after installing the imaging unit,
The photographing step, the monitoring target specifying step, and the position specifying step are repeatedly performed,
The monitoring method characterized by.
撮影部が撮影を行う撮影ステップと、
座標設定部が、前記撮影部が撮影した二次元の撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を前記撮影部が撮影した撮影画像に基づいて設定する座標設定ステップと、
監視対象特定部が、撮影画像中の監視対象を特定する監視対象特定ステップと、
位置特定部が、前記監視対象特定部が特定した監視対象が実際に存在している監視領域を構成する三次元空間内において、特定の座標で規定することができる監視対象の位置を前記撮影部が撮影した撮影画像に基づいて座標設定部が設定した座標において特定する位置特定ステップと、
を実行させるための監視プログラムであって、
前記座標設定ステップは、監視を実行するよりも先に、座標の設定を行い、
前記位置特定ステップは、前記撮影部が撮影を繰り返すことにより前記監視対象特定部が新たに監視対象を検出すると、監視を実行するよりも先に設定された座標を用いて前記監視対象の位置を特定する監視プログラム。 On the computer of the monitoring device or monitoring system,
A shooting step in which the shooting unit performs shooting,
The coordinate setting unit sets a coordinate that can be specified by associating a position corresponding to the floor or the ground in the two-dimensional captured image captured by the capturing unit with the actual size, based on the captured image captured by the capturing unit. Coordinate setting step,
The monitoring target specifying unit, a monitoring target specifying step of specifying the monitoring target in the captured image,
In the three-dimensional space forming the monitoring area in which the monitoring target specified by the monitoring target specifying unit actually exists, the position specifying unit defines the position of the monitoring target that can be defined by specific coordinates, in the imaging unit. A position specifying step of specifying at the coordinates set by the coordinate setting unit based on the captured image captured by
Is a monitoring program for executing
In the coordinate setting step, the coordinates are set before the monitoring is performed,
In the position specifying step, when the monitoring target specifying unit newly detects a monitoring target by repeating the photographing by the photographing unit, the position of the monitoring target is determined using the coordinates set before the monitoring is performed. Monitoring program to identify.
前記座標設定ステップは、前記撮影部の設置後少なくとも1回行われ、
前記撮影ステップと、前記監視対象特定ステップと、前記位置特定ステップとは、繰り返し行われること、
を特徴とする監視プログラム。 The monitoring program according to claim 16,
The coordinate setting step is performed at least once after installing the imaging unit,
The photographing step, the monitoring target specifying step, and the position specifying step are repeatedly performed,
Monitoring program characterized by.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019075374A JP2020088840A (en) | 2019-04-11 | 2019-04-11 | Monitoring device, monitoring system, monitoring method, and monitoring program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019075374A JP2020088840A (en) | 2019-04-11 | 2019-04-11 | Monitoring device, monitoring system, monitoring method, and monitoring program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018222641A Division JP6581280B1 (en) | 2018-11-28 | 2018-11-28 | Monitoring device, monitoring system, monitoring method, monitoring program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020088840A true JP2020088840A (en) | 2020-06-04 |
Family
ID=70909156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019075374A Pending JP2020088840A (en) | 2019-04-11 | 2019-04-11 | Monitoring device, monitoring system, monitoring method, and monitoring program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020088840A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114900671A (en) * | 2022-07-12 | 2022-08-12 | 深圳市盈润科技有限公司 | Comprehensive management service system and method based on agricultural Internet of things |
WO2024070335A1 (en) * | 2022-09-29 | 2024-04-04 | グローリー株式会社 | Monitoring system and monitoring method |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08138169A (en) * | 1994-11-10 | 1996-05-31 | Nittan Co Ltd | Device and method for detecting flame |
JPH08263768A (en) * | 1995-03-09 | 1996-10-11 | Nittan Co Ltd | Device and method for detecting flame |
JP2003203241A (en) * | 2002-01-04 | 2003-07-18 | Mitsubishi Electric Corp | Straight line data forming device and method and program |
JP2008293172A (en) * | 2007-05-23 | 2008-12-04 | Toyota Central R&D Labs Inc | Disappearing dot estimation device and program |
JP2010237872A (en) * | 2009-03-30 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | Device, method and program for detecting person area |
JP2013196387A (en) * | 2012-03-19 | 2013-09-30 | Pioneer Electronic Corp | Image processor and image processing method |
JP2015114930A (en) * | 2013-12-13 | 2015-06-22 | ホーチキ株式会社 | Fire detection system and fire detection method |
JP2016004446A (en) * | 2014-06-17 | 2016-01-12 | トヨタ自動車株式会社 | Motion estimation device |
JP2016163254A (en) * | 2015-03-04 | 2016-09-05 | 三郎 山内 | Monitor system, monitoring method, program, and computer storage medium |
-
2019
- 2019-04-11 JP JP2019075374A patent/JP2020088840A/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08138169A (en) * | 1994-11-10 | 1996-05-31 | Nittan Co Ltd | Device and method for detecting flame |
JPH08263768A (en) * | 1995-03-09 | 1996-10-11 | Nittan Co Ltd | Device and method for detecting flame |
JP2003203241A (en) * | 2002-01-04 | 2003-07-18 | Mitsubishi Electric Corp | Straight line data forming device and method and program |
JP2008293172A (en) * | 2007-05-23 | 2008-12-04 | Toyota Central R&D Labs Inc | Disappearing dot estimation device and program |
JP2010237872A (en) * | 2009-03-30 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | Device, method and program for detecting person area |
JP2013196387A (en) * | 2012-03-19 | 2013-09-30 | Pioneer Electronic Corp | Image processor and image processing method |
JP2015114930A (en) * | 2013-12-13 | 2015-06-22 | ホーチキ株式会社 | Fire detection system and fire detection method |
JP2016004446A (en) * | 2014-06-17 | 2016-01-12 | トヨタ自動車株式会社 | Motion estimation device |
JP2016163254A (en) * | 2015-03-04 | 2016-09-05 | 三郎 山内 | Monitor system, monitoring method, program, and computer storage medium |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114900671A (en) * | 2022-07-12 | 2022-08-12 | 深圳市盈润科技有限公司 | Comprehensive management service system and method based on agricultural Internet of things |
WO2024070335A1 (en) * | 2022-09-29 | 2024-04-04 | グローリー株式会社 | Monitoring system and monitoring method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020189313A1 (en) | Monitoring device, monitoring system, and monitoring method | |
CN104902246B (en) | Video monitoring method and device | |
JP5390813B2 (en) | Spatial information display device and support device | |
JP6587489B2 (en) | Image processing apparatus, image processing method, and image processing system | |
JP5586765B2 (en) | Camera calibration result verification apparatus and method | |
JP6562437B1 (en) | Monitoring device and monitoring method | |
JP6232497B2 (en) | External recognition device | |
JP4780455B2 (en) | Video surveillance apparatus and method | |
TWI551137B (en) | Field display system, field display method, and computer-readable recording medium in which field display program is recorded | |
JP2019041261A (en) | Image processing system and setting method of image processing system | |
JP6512793B2 (en) | Imaging device, surveillance camera system, control method and program for imaging device | |
JP2009210331A (en) | Camera calibration apparatus and camera calibration method | |
JP2020088840A (en) | Monitoring device, monitoring system, monitoring method, and monitoring program | |
JP6624800B2 (en) | Image processing apparatus, image processing method, and image processing system | |
JP6041535B2 (en) | Image acquisition method and photographing apparatus | |
WO2020111053A1 (en) | Monitoring device, monitoring system, monitoring method, and monitoring program | |
TW201205506A (en) | System and method for managing security of a roof | |
JP2007010419A (en) | Three-dimensional shape of object verifying system | |
JP3875199B2 (en) | Imaging device | |
JP5007786B2 (en) | Video surveillance apparatus and method | |
JP5299692B2 (en) | Camera calibration method and image processing apparatus | |
JP6537459B2 (en) | Security camera installation support device and program | |
JP2020051856A (en) | Camera calibration method and device | |
JP6102829B2 (en) | Absolute coordinate position measurement method by stereo matching method and absolute coordinate position measurement device by stereo matching method | |
US20190080179A1 (en) | Monitoring system and terminal device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190411 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190411 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191029 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200519 |