JP2021033672A - Object recognition device, program, and object recognition system - Google Patents
Object recognition device, program, and object recognition system Download PDFInfo
- Publication number
- JP2021033672A JP2021033672A JP2019153572A JP2019153572A JP2021033672A JP 2021033672 A JP2021033672 A JP 2021033672A JP 2019153572 A JP2019153572 A JP 2019153572A JP 2019153572 A JP2019153572 A JP 2019153572A JP 2021033672 A JP2021033672 A JP 2021033672A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- region
- recognition
- area
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 81
- 230000006870 function Effects 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 6
- 230000032258 transport Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、物体認識装置、プログラムおよび物体認識システムに関する。 The present invention relates to an object recognition device, a program and an object recognition system.
近年、建設現場および工事現場などの作業現場での安全を確保するための様々な仕組みが検討されている。例えば、特許文献1には、作業を行う作業員を登録する作業員登録手段と、作業員位置検出手段と、作業員の立ち入りを制限する制限領域を算出する制限領域算出手段と、事前登録されていない作業員が制限領域に進入した場合、および事前登録されている作業員が立ち入りを許可されていない領域に進入した場合に警報を発する警報手段と、を備えるシステムが開示されている。すなわち、当該システムでは、作業員の事前登録、および作業員に応じた制限領域の算出などに基づき、適宜警報を発することができる。
In recent years, various mechanisms for ensuring safety at construction sites and work sites such as construction sites have been studied. For example, in
しかし、作業期間中には作業員の増減が度々発生する。このため、制限領域に物体が進入した場合に当該物体が警報対象であるか否かを適切に認識するためには、作業員の増減の度に登録内容などを見直す必要があり、当該見直しのための手間が煩雑であるという問題があった。 However, the number of workers often increases or decreases during the work period. Therefore, in order to properly recognize whether or not an object is subject to an alarm when an object enters the restricted area, it is necessary to review the registered contents each time the number of workers increases or decreases. There was a problem that it was complicated to do so.
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、物体の適切な認識を実現するための事前登録の手間を抑制することが可能な、新規かつ改良された物体認識装置、プログラムおよび物体認識システムを提供することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is a novel and novel one capable of suppressing the labor of pre-registration for realizing appropriate recognition of an object. The purpose is to provide improved object recognition devices, programs and object recognition systems.
上記課題を解決するために、本発明のある観点によれば、物体の位置を検知する検知部と、前記検知部により検知された物体の位置である検知位置が、事前に設定された領域に含まれるか否かを判定する領域判定部と、前記領域判定部により前記領域に含まれると判定された物体である領域内物体が、位置推定装置を有する第1の物体、および前記位置推定装置を有さない第2の物体を含む複数種類の物体のうちのいずれの物体であるかを認識する認識部と、前記第1の物体が有する前記位置推定装置により得られた前記第1の物体の位置情報を受信する受信部と、を備え、前記認識部は、前記受信部により受信された位置情報が示す位置と、前記領域内物体の検知位置との関係に基づき、前記領域内物体の認識を行う、物体認識装置が提供される。 In order to solve the above problem, according to a certain viewpoint of the present invention, the detection unit that detects the position of the object and the detection position that is the position of the object detected by the detection unit are set in a preset area. The area determination unit that determines whether or not it is included, the first object having a position estimation device, and the position estimation device that are objects in the area that are determined to be included in the area by the area determination unit. A recognition unit that recognizes which of a plurality of types of objects including a second object that does not have a second object, and the first object obtained by the position estimation device of the first object. The recognition unit includes a receiving unit that receives the position information of the above, and the recognition unit is based on the relationship between the position indicated by the position information received by the receiving unit and the detection position of the object in the area. An object recognition device that performs recognition is provided.
前記認識部は、前記受信部により受信された1または2以上の位置情報が示す位置のうちで前記検知位置に最も近い位置と、前記検知位置との差分に基づき、前記領域内物体の認識を行ってもよい。 The recognition unit recognizes an object in the region based on the difference between the position closest to the detection position among the positions indicated by one or more position information received by the reception unit and the detection position. You may go.
前記認識部は、前記差分が閾値未満であることに基づき前記領域内物体が前記第1の物体であると認識し、前記差分が前記閾値以上であることに基づき前記領域内物体が前記第2の物体であると認識してもよい。 The recognition unit recognizes that the object in the region is the first object based on the difference being less than the threshold value, and the object in the region is the second object based on the difference being equal to or more than the threshold value. It may be recognized as an object of.
前記物体認識装置は、前記領域内物体が前記第2の物体であると認識された場合には、複数の第1の物体の各々が有する装置に警報の出力を指示する警報指示を送信する送信部をさらに備えてもよい。 When the object in the area is recognized as the second object, the object recognition device transmits an alarm instruction instructing the device of each of the plurality of first objects to output an alarm. Further units may be provided.
前記認識部は、前記領域内物体の検知位置の履歴が所定の条件を満たす場合には前記領域内物体が第3の物体であると認識し、前記送信部は、前記認識部により前記領域内物体が第3の物体であると認識された場合には前記警報指示を送信せず、前記領域内物体の検知位置の履歴が所定の条件を満たさず、かつ、前記領域内物体が前記第1の物体であると認識された場合には、当該第1の物体が有する装置に警報指示を送信してもよい。 The recognition unit recognizes that the object in the region is a third object when the history of the detection position of the object in the region satisfies a predetermined condition, and the transmission unit is in the region by the recognition unit. When the object is recognized as the third object, the alarm instruction is not transmitted, the history of the detection position of the object in the region does not satisfy a predetermined condition, and the object in the region is the first object. When it is recognized that the object is, an alarm instruction may be transmitted to the device possessed by the first object.
前記所定の条件は、前記領域内物体が前記領域に所定時間以上に亘って滞在することを含んでもよい。 The predetermined condition may include the object in the region staying in the region for a predetermined time or longer.
前記所定の条件は、前記領域内物体が過去の所定期間内に前記領域に進入した回数が所定回数以上であることを含んでもよい。 The predetermined condition may include that the number of times the object in the region has entered the region within a predetermined period in the past is equal to or greater than the predetermined number of times.
前記認識部は、前記領域内物体の検知位置の履歴が所定の条件を満たさないと判断した場合に、前記検知位置を用いた前記領域内物体の認識を行ってもよい。 When the recognition unit determines that the history of the detection position of the object in the region does not satisfy a predetermined condition, the recognition unit may recognize the object in the region using the detection position.
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、物体の位置を検知する検知部と、前記検知部により検知された物体の位置である検知位置が、事前に設定された領域に含まれるか否かを判定する領域判定部と、前記領域判定部により前記領域に含まれると判定された物体である領域内物体が、位置推定装置を有する第1の物体、および前記位置推定装置を有さない第2の物体を含む複数種類の物体のうちのいずれの物体であるかを認識する認識部と、前記第1の物体が有する前記位置推定装置により得られた前記第1の物体の位置情報を受信する受信部と、を備え、前記認識部は、前記受信部により受信された位置情報が示す位置と、前記領域内物体の検知位置との関係に基づき、前記領域内物体の認識を行う、物体認識装置、として機能させるための、プログラムが提供される。 Further, in order to solve the above problem, according to another viewpoint of the present invention, the detection unit for detecting the position of the object and the detection position which is the position of the object detected by the detection unit are set in advance in the computer. The area determination unit that determines whether or not the object is included in the area set in is the area determination unit, and the object in the area that is the object determined to be included in the area by the area determination unit is a first object having a position estimation device. , And a recognition unit that recognizes which of a plurality of types of objects including a second object that does not have the position estimation device, and the position estimation device that the first object has. A receiving unit for receiving the position information of the first object is provided, and the recognition unit is based on the relationship between the position indicated by the position information received by the receiving unit and the detection position of the object in the region. , A program for functioning as an object recognition device that recognizes an object in the area is provided.
また、上記課題を解決するために、本発明の別の観点によれば、第1の物体が有する位置推定装置、および物体認識装置を含む物体認識システムであって、前記位置推定装置は、前記位置推定装置の位置を推定する位置推定部、および前記位置推定部により推定された位置を示す位置情報を前記物体認識装置に送信する送信部、を有し、前記物体認識装置は、物体の位置を検知する検知部、前記検知部により検知された物体の位置である検知位置が、事前に設定された領域に含まれるか否かを判定する領域判定部、前記領域判定部により前記領域に含まれると判定された物体である領域内物体が、前記位置推定装置を有する前記第1の物体、および前記位置推定装置を有さない第2の物体を含む複数種類の物体のうちのいずれの物体であるかを認識する認識部と、前記第1の物体が有する前記位置推定装置により得られた前記第1の物体の位置情報を受信する受信部と、を備え、前記認識部は、前記受信部により受信された位置情報が示す位置と、前記領域内物体の検知位置との関係に基づき、前記領域内物体の認識を行う、物体認識システムが提供される。 Further, in order to solve the above-mentioned problems, according to another aspect of the present invention, the position estimation device is an object recognition system including a position estimation device of the first object and an object recognition device, and the position estimation device is the above-mentioned. The object recognition device has a position estimation unit that estimates the position of the position estimation device and a transmission unit that transmits position information indicating the position estimated by the position estimation unit to the object recognition device. The detection unit that detects the above, the area determination unit that determines whether or not the detection position, which is the position of the object detected by the detection unit, is included in the preset area, and the area determination unit includes the detection position in the area. The object in the region, which is an object determined to be an object, is any object among a plurality of types of objects including the first object having the position estimation device and the second object not having the position estimation device. The recognition unit includes a recognition unit that recognizes the above, and a reception unit that receives the position information of the first object obtained by the position estimation device of the first object, and the recognition unit receives the reception. An object recognition system is provided that recognizes an object in the area based on the relationship between the position indicated by the position information received by the unit and the detection position of the object in the area.
以上説明した本発明によれば、物体の適切な認識を実現するための事前登録の手間を抑制することが可能である。 According to the present invention described above, it is possible to suppress the trouble of pre-registration for realizing appropriate recognition of an object.
以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Embodiments of the present invention will be described in detail below with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, so that duplicate description will be omitted.
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成または論理的意義を有する複数の構成を、必要に応じて携帯端末10Aおよび10Bのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。例えば、携帯端末10Aおよび10Bを特に区別する必要が無い場合には、各携帯端末を単に携帯端末10と称する。
Further, in the present specification and the drawings, a plurality of components having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numerals. For example, a plurality of configurations having substantially the same functional configuration or logical significance are distinguished as necessary, such as
<1.物体認識システムの概要>
本発明の実施形態は、事前に設定された特定領域に進入した物体を認識し、認識結果に応じて警報を発する物体認識システムに関する。当該物体認識システムは、例えば、建設現場および工事現場などの作業現場に適用される。作業現場では、安全のために一部の作業員以外は進入すべきでない領域(一部の作業員以外は立ち入るべきではない領域)が存在することがあり、このような領域が上記特定領域として設定され得る。以下、図1を参照し、本発明の一実施形態による物体認識システムの構成を説明する。
<1. Overview of object recognition system>
An embodiment of the present invention relates to an object recognition system that recognizes an object that has entered a predetermined specific area and issues an alarm according to the recognition result. The object recognition system is applied to work sites such as construction sites and construction sites. At the work site, for safety reasons, there may be areas that only some workers should enter (areas that only some workers should not enter), and such areas are defined as the above-mentioned specific areas. Can be set. Hereinafter, the configuration of the object recognition system according to the embodiment of the present invention will be described with reference to FIG.
図1は、本発明の一実施形態による物体認識システムの構成を示す説明図である。図1に示したように、本発明の一実施形態による物体認識システムは、複数の携帯端末10と、警報器16と、物体認識装置20と、を有する。
FIG. 1 is an explanatory diagram showing a configuration of an object recognition system according to an embodiment of the present invention. As shown in FIG. 1, the object recognition system according to the embodiment of the present invention includes a plurality of mobile terminals 10, an
携帯端末10は、作業現場Pで作業する作業員が有する装置である。図1に示した例では、人物XAおよび人物XBが作業員であり、人物XAが携帯端末10Aを有し、人物XBが携帯端末10Bを有している。
The mobile terminal 10 is a device possessed by a worker working at the work site P. In the example shown in FIG. 1, the person XA and the person XB are workers, the person XA has a
携帯端末10は、現在位置を推定する位置推定装置としての機能を有する。携帯端末10が現在位置を推定する方法は特に限定されない。例えば、携帯端末10は、GPS機能により現在位置を推定してもよいし、WiFiの電波強度を用いて現在位置を推定してもよい。携帯端末10は、推定した現在位置を示す位置情報を物体認識装置20に送信する。
The mobile terminal 10 has a function as a position estimation device for estimating the current position. The method by which the mobile terminal 10 estimates the current position is not particularly limited. For example, the mobile terminal 10 may estimate the current position by the GPS function, or may estimate the current position by using the radio wave strength of WiFi. The mobile terminal 10 transmits the position information indicating the estimated current position to the
また、携帯端末10は、警報を発する機能を有し、物体認識装置20からの警報指示に応じて警報を発する。本明細書においては、同一の携帯端末10が位置推定機能および警報機能を有する例を説明するが、位置推定機能および警報機能は別々の装置に設けられてもよい。
Further, the mobile terminal 10 has a function of issuing an alarm, and issues an alarm in response to an alarm instruction from the
なお、作業現場Pには、第1の物体の一例である作業員、および第2の物体の一例である非作業員が存在し得る。図1に示した例では、人物XCが非作業員であり、非作業員である人物XCは携帯端末10を有していない。 At the work site P, there may be a worker who is an example of the first object and a non-worker who is an example of the second object. In the example shown in FIG. 1, the person XC is a non-worker, and the person XC who is a non-worker does not have the mobile terminal 10.
警報器16は、作業現場Pに設置される装置である。警報器16は、物体認識装置20からの警報指示に応じて警報を発する。
The
物体認識装置20は、作業現場P内の各人物の位置を検知し、特定領域Qに含まれる人物(領域内人物)が作業員または非作業員であるかを認識する。当該認識は、詳細については後述するように、領域内人物の検知位置および携帯端末10から受信される位置情報が示す位置との関係に基づいて行われる。そして、物体認識装置20は、人物の認識結果に応じて、警報の出力を指示する警報指示を携帯端末10および警報器16に送信する。
The
(課題の整理)
人物が作業員であるか否かを認識するための方法として、事前に作業員の情報を登録しておき、登録されている情報を用いて人物を認識する方法が考えられる。例えば、各作業員の顔または服装などを事前に登録しておき、撮像画像に含まれる人物と登録されている顔または服装などを比較することにより、人物を認識し得る。
(Arrangement of issues)
As a method for recognizing whether or not a person is a worker, a method in which worker information is registered in advance and the person is recognized using the registered information can be considered. For example, a person can be recognized by registering the face or clothes of each worker in advance and comparing the registered face or clothes with the person included in the captured image.
しかし、作業期間中には作業員の増減が度々発生する。上記の方法では、作業員の増減の度に登録内容などを見直す必要があり、当該見直しのための手間が煩雑であるという問題がある。 However, the number of workers often increases or decreases during the work period. In the above method, it is necessary to review the registered contents and the like each time the number of workers is increased or decreased, and there is a problem that the labor for the review is complicated.
本件発明者は、上記事情を一着眼点にして本発明の実施形態を創作するに至った。本発明の実施形態によれば、人物の適切な認識を実現するための事前登録の手間を抑制することが可能である。以下、このような本発明の実施形態による物体認識装置20の構成および動作を順次詳細に説明する。
The present inventor has come to create an embodiment of the present invention with the above circumstances as the first point of view. According to the embodiment of the present invention, it is possible to suppress the trouble of pre-registration for realizing appropriate recognition of a person. Hereinafter, the configuration and operation of the
<2.物体認識装置の構成>
図2は、本発明の一実施形態による物体認識装置20の構成を示す説明図である。図2に示したように、本発明の一実施形態による物体認識装置20は、通信部220、検知部230、表示部240、操作部250、記憶部260および制御部270を有する。
<2. Configuration of object recognition device>
FIG. 2 is an explanatory diagram showing a configuration of an
(通信部220)
通信部220は、他の装置と多様な情報を通信する。例えば、通信部220は、携帯端末10において得られた携帯端末10(携帯端末10を有する人物)の位置情報を携帯端末10から受信する受信部として機能する。また、通信部220は、制御部270からの制御に従い携帯端末10および警報器16に警報指示を送信する送信部として機能する。
(Communication unit 220)
The
(検知部230)
検知部230は、各人物の位置を検知する。例えば、検知部230は、360度カメラおよびLiDAR(Light Detection and Ranging)を有してもよい。
(Detection unit 230)
The
(表示部240)
表示部240は、制御部270からの制御に従い多様な画面を表示する。例えば、表示部240は、検知部230により得られた作業現場Pの画像を表示する。
(Display unit 240)
The
(操作部250)
操作部250は、物体認識装置20の操作者が物体認識装置20に指示または情報を入力するために操作する構成である。例えば、操作者は、操作部250を操作することで、表示部240に表示された作業現場Pの画像上で工事車両の可動範囲および進入禁止箇所などを指定することが可能である。
(Operation unit 250)
The
(記憶部260)
記憶部260は、物体認識装置20の動作に用いられる情報を記憶する。例えば、記憶部260は、特定領域を示す座標情報、および通信部220により携帯端末10から受信された位置情報を記憶する。また、記憶部260は、検知部230により検知された人物の検知位置の履歴を記憶する。
(Memory unit 260)
The
図3は、記憶部260に記憶される人物の検知位置の履歴の具体例を示す説明図である。図3に示したように、記憶部260は、各人物の検知位置を時刻ごとに記憶する。例えば、人物Aの検知位置は、時刻t1〜t4にかけて、位置A1、位置A2、位置A3、位置A4、と変化している。
FIG. 3 is an explanatory diagram showing a specific example of the history of the detection position of a person stored in the
(制御部270)
制御部270は、物体認識装置20の動作全般を制御する。例えば、制御部270は、通信部220が行う通信、表示部240の表示、記憶部260への情報の記録などを制御する。特に、本発明の実施形態による制御部270は、図2に示したように、領域設定部272、領域判定部274および認識部276の機能を包含する。
(Control unit 270)
The
領域設定部272は、特定領域を設定し、特定領域を示す座標情報を記憶部260に記録する。上述したように、物体認識装置20の操作者は、操作部250を操作することで、表示部240に表示された作業現場Pの画像上で工事車両の可動範囲および進入禁止箇所などを指定できる。領域設定部272は、このように操作者により指定された範囲および箇所を特定領域として設定する。
The
領域判定部274は、検知部230により検知された各人物の位置が特定領域に含まれるか否かを判定する。すなわち、領域判定部274は、記憶部260から特定領域を示す座標情報を読み出し、当該特定領域の座標情報と各人物の検知位置が重なるか否かにより、各人物の検知位置が特定領域に含まれるか否かを判定する。
The
認識部276は、領域判定部274により特定領域に含まれると判定された人物である領域内人物が作業員または非作業員であるかを認識する。上述したように、作業員は携帯端末10を有しており、非作業員は携帯端末10を有していないことが想定される。当該想定によれば、領域内人物が作業員である場合には、領域内人物の検知位置の近傍位置を示す位置情報がいずれかの携帯端末10から受信されると考えられる。一方、領域内人物が非作業員である場合には、領域内人物の検知位置の近傍位置を示す位置情報はいずれの携帯端末10からも受信されないと考えられる。
The
このため、認識部276は、通信部220により各携帯端末10から受信された位置情報が示す位置のうちで領域内人物の検知位置に最も近い位置と、領域内人物の検知位置との差分を算出する。
Therefore, the
そして、認識部276は、算出された差分が閾値未満であることに基づき領域内人物が作業員であると認識し、差分が閾値以上であることに基づき領域内人物が非作業員であると認識する。例えば、図1に示した例では、特定領域Qに含まれる人物XBが有する携帯端末10Bから携帯端末10Bの位置情報が受信されるので、当該位置情報が示す位置と人物XBの検知位置との差分は閾値未満となり、人物XBは作業員であると認識される。一方、人物XCに関しては、携帯端末10Aから受信される位置情報が示す位置が人物XCの検知位置に最も近いが、両者の差分は閾値以上となり、人物XCは非作業員であると認識される。
Then, the
また、認識部276は、領域内人物の認識結果に応じて、警報指示の送信を通信部220に指示する。例えば、認識部276は、領域内人物が作業員であると認識した場合には当該領域内人物が有する携帯端末10に警報の出力を指示する警報指示を送信する。かかる構成により、領域内人物が有する携帯端末10が警報を発するので、自身が特定領域内にいることを当該領域内人物に認識させることが可能である。
Further, the
一方、認識部276は、領域内人物が非作業員であると認識した場合には各作業員が有する携帯端末10および警報器16に警報指示を送信する。かかる構成により、各作業員が有する携帯端末10および警報器16が警報を発するので、非作業員が特定領域に進入したことを当該非作業員の周囲にいる作業員が認識し、例えば作業員が非作業員に声掛けを行うことが可能となる。
On the other hand, when the
<3.動作>
以上、本発明の一実施形態による物体認識装置20の構成を説明した。続いて、図4および図5を参照し、本発明の一実施形態による物体認識システムの動作を整理する。
<3. Operation>
The configuration of the
図4は、本発明の一実施形態による物体認識システムの動作を示す説明図である。図4に示したように、まず、物体認識装置20の領域設定部272が操作部250への操作に基づき特定領域を設定する(S304)。また、携帯端末10において得られた携帯端末10の位置情報を携帯端末10が送信し、物体認識装置20の通信部220が当該位置情報を受信する(S308)。そして、記憶部260が当該位置情報を記憶する(S312)。
FIG. 4 is an explanatory diagram showing the operation of the object recognition system according to the embodiment of the present invention. As shown in FIG. 4, first, the
また、物体認識装置20の検知部230が人物の現在位置を検知し(S316)、物体認識装置20の記憶部260が検知部230により得られた人物の検知位置を記憶する(S320)。
Further, the
その後、領域判定部274および認識部276などが、領域判定および人物認識などを行い(S330)、判定結果に応じて通信部220を介して携帯端末10および警報器16に警報指示を送信する(S344、S348、S352)。以下、図5を参照して、S330〜S352の処理をより詳細に整理する。
After that, the
図5は、物体認識装置20の動作を示すフローチャートである。物体認識装置20は、図5に示す動作を各人物に対して行う。まず、領域設定部272が、記憶部260から特定領域を示す座標情報および人物の検知位置を読み出し、人物の検知位置が特定領域に含まれるか否かを判定する(S410)。人物の検知位置が特定領域に含まれない場合(S410/No)、当該人物に関する警報出力は行われずに、処理は終了する。
FIG. 5 is a flowchart showing the operation of the
一方、人物の検知位置が特定領域に含まれる場合(S410/Yes)、認識部276は、各携帯端末10から受信された位置情報が示す位置のうちで当該領域内人物の検知位置に最も近い位置と、当該領域内人物の検知位置との差分を算出する(S420)。そして、認識部276は、算出された差分が閾値未満であるか否かを判断する(S430)。
On the other hand, when the detection position of the person is included in the specific area (S410 / Yes), the
認識部276は、当該差分が閾値未満であることに基づき領域内人物が作業員であると認識する(S430/Yes、S440)。そして、認識部276は、当該領域内人物が有する携帯端末10に警報の出力を指示する警報指示を送信する。すなわち、認識部276は、当該領域内人物の検知位置に最も近い位置を示す位置情報の送信元である携帯端末10に、警報指示を送信する(S450)。
The
一方、認識部276は、当該差分が閾値以上であることに基づき領域内人物が非作業員であると認識する(S430/No、S460)。そして、認識部276は、各作業員が有する携帯端末10および警報器16に警報指示を送信する(S470)。
On the other hand, the
以上説明したように、本発明の一実施形態によれば、各作業員の顔および服装などを事前登録することなく、特定領域に進入した人物が作業員であるか非作業員であるかを適切に認識することが可能である。 As described above, according to one embodiment of the present invention, it is possible to determine whether a person who has entered a specific area is a worker or a non-worker without pre-registering the face and clothes of each worker. It is possible to recognize it properly.
<4.応用例>
上記の実施形態では、いずれの作業員が特定領域に進入した場合にも警報が発せられ得る。この点に関し、作業員の中には、特定領域内での作業を担当している担当作業員、および特定領域を移動経路に含む物資の運搬を行う運搬作業員など、特定領域への進入が必要な作業員(第3の物体)も存在する。ある観点では、このような特定領域への進入が必要な作業員には、警報が発せられないことが望ましい。
<4. Application example>
In the above embodiment, an alarm can be issued when any worker enters a specific area. In this regard, some workers may enter a specific area, such as a worker in charge of work in a specific area and a transportation worker who transports goods including the specific area in the movement route. There is also a necessary worker (third object). From a certain point of view, it is desirable that an alarm is not issued to a worker who needs to enter such a specific area.
そこで、上記実施形態の応用例として、事前登録の手間を抑制しつつ、担当作業員および運搬作業員などが特定領域に進入した場合には警報が発せられないようにする仕組みを説明する。 Therefore, as an application example of the above embodiment, a mechanism will be described in which an alarm is not issued when a worker in charge, a transport worker, or the like enters a specific area while suppressing the labor of pre-registration.
応用例による物体認識装置20は、領域内人物に関する図3を参照して説明した検知位置の履歴が所定の条件を満たす場合には、領域内人物が担当作業員または運搬作業員であると認識し、警報指示を送信しない。一方、応用例による物体認識装置20は、領域内人物の検知位置の履歴が所定の条件を満たさず、領域内人物が非担当作業員であると認識した場合には、領域内人物が有する携帯端末10に警報指示を送信する。以下、図6を参照して、より具体的に説明する。
The
図6は、応用例による物体認識装置20の動作を示すフローチャートである。図6に示したように、領域設定部272が、記憶部260から特定領域を示す座標情報および人物の検知位置を読み出し、人物の検知位置が特定領域に含まれるか否かを判定する(S410)。人物の検知位置が特定領域に含まれない場合(S410/No)、領域設定部272は当該人物が特定領域に滞在していた場合にカウントされる滞在時間をリセットする(S510)。
FIG. 6 is a flowchart showing the operation of the
一方、人物の検知位置が特定領域に含まれる場合(S410/Yes)、認識部276は、当該人物の特定領域での滞在時間を確認する(S520)。滞在時間が長期に亘っている場合、当該領域内人物は特定領域で作業をしており、特定領域を既に認識しているとも考えられる。そこで、滞在時間が所定時間以上である場合(S530/Yes)、認識部276は領域内人物が担当作業員であると認識し(S540)、この場合には警報指示を送信しない。なお、当該人物の特定領域での滞在時間を確認する手法の一例として、認識部276は、特定領域を示す座標情報の範囲内に、人物の検知位置(図3)が含まれる時間長を導出する。
On the other hand, when the detection position of the person is included in the specific area (S410 / Yes), the
滞在時間が所定時間未満である場合(S530/No)、認識部276は、過去の所定期間内に領域内人物が特定領域に進入した回数を計測する(S550)。進入回数が多い場合、当該領域内人物は、特定領域を移動経路に含む物資の運搬を行う運搬作業員であると考えられる。そこで、進入回数が所定回数以上である場合(S560/Yes)、領域内人物が運搬作業員であり、運搬作業中であると認識する(S570)。この場合にも警報指示は送信されない。なお、特定領域に進入した回数を計測する手法の一例として、認識部276は、人物の検知位置(図3)が、特定領域を示す座標情報の範囲外から座標情報の範囲内へ変動した回数を導出する。
When the staying time is less than a predetermined time (S530 / No), the
進入回数が所定回数未満である場合(S560/No)、各携帯端末10から受信された位置情報が示す位置のうちで当該領域内人物の検知位置に最も近い位置と、当該領域内人物の検知位置との差分を算出する(S420)。そして、認識部276は、算出された差分が閾値未満であるか否かを判断する(S430)。
When the number of intrusions is less than the predetermined number (S560 / No), the position closest to the detection position of the person in the area among the positions indicated by the position information received from each mobile terminal 10 and the detection of the person in the area are detected. The difference from the position is calculated (S420). Then, the
認識部276は、当該差分が閾値未満であることに基づき領域内人物が非担当作業員であると認識する(S430/Yes、S442)。そして、認識部276は、当該領域内人物が有する携帯端末10に警報の出力を指示する警報指示を送信する。すなわち、認識部276は、当該領域内人物の検知位置に最も近い位置を示す位置情報の送信元である携帯端末10に、警報指示を送信する(S450)。
The
一方、認識部276は、当該差分が閾値以上であることに基づき領域内人物が非作業員であると認識する(S430/No、S460)。そして、認識部276は、各作業員が有する携帯端末10および警報器16に警報指示を送信する(S470)。
On the other hand, the
以上説明したように、応用例によれば、特定領域での滞在時間が所定時間以上であること(S530/No)、または進入回数が所定回数以上であること(S560/No)、という所定条件が満たされた場合には警報指示が送信されない。一方、これら所定条件が満たされず、領域内人物が非担当作業員であると認識した場合に、領域内人物が有する携帯端末10に警報指示が送信される。すなわち、応用例によれば、各作業員の属性を事前登録することなく、各作業員の属性を自動的に認識し、作業員の属性に応じて警報指示の送信を適切に制御することが可能である。 As described above, according to the application example, a predetermined condition that the staying time in the specific area is a predetermined time or more (S530 / No) or the number of intrusions is a predetermined number or more (S560 / No). No alarm is sent if is satisfied. On the other hand, when these predetermined conditions are not satisfied and it is recognized that the person in the area is a non-in charge worker, an alarm instruction is transmitted to the mobile terminal 10 owned by the person in the area. That is, according to the application example, it is possible to automatically recognize the attributes of each worker and appropriately control the transmission of the alarm instruction according to the attributes of the workers without pre-registering the attributes of each worker. It is possible.
<5.ハードウェア構成>
以上、本発明の実施形態および応用例を説明した。上述した領域の判定および人物の認識などの情報処理は、ソフトウェアと、以下に説明する物体認識装置20のハードウェアとの協働により実現される。
<5. Hardware configuration>
The embodiments and application examples of the present invention have been described above. Information processing such as determination of a region and recognition of a person described above is realized by cooperation between software and the hardware of the
図7は、物体認識装置20のハードウェア構成を示したブロック図である。物体認識装置20は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、ホストバス204と、を備える。また、物体認識装置20は、ブリッジ205と、外部バス206と、インタフェース207と、入力装置208と、表示装置209と、音声出力装置210と、ストレージ装置(HDD)211と、ドライブ212と、ネットワークインタフェース215とを備える。
FIG. 7 is a block diagram showing the hardware configuration of the
CPU201は、演算処理装置および制御装置として機能し、各種プログラムに従って物体認識装置20内の動作全般を制御する。また、CPU201は、マイクロプロセッサであってもよい。ROM202は、CPU201が使用するプログラムや演算パラメータ等を記憶する。RAM203は、CPU201の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス204により相互に接続されている。これらCPU201、ROM202およびRAM203とソフトウェアとの協働により、図2を参照して説明した制御部270の機能が実現され得る。
The
ホストバス204は、ブリッジ205を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス206に接続されている。なお、必ずしもホストバス204、ブリッジ205および外部バス206を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
The
入力装置208は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサー、スイッチおよびレバーなど操作者が情報を入力するための入力手段と、操作者による入力に基づいて入力信号を生成し、CPU201に出力する入力制御回路などから構成されている。物体認識装置20の操作者は、該入力装置208を操作することにより、物体認識装置20に対して各種のデータを入力したり処理動作を指示したりすることができる。
The
表示装置209は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、プロジェクター装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。また、音声出力装置210は、スピーカおよびヘッドホンなどの音声出力装置を含む。
The
ストレージ装置211は、本実施形態にかかる物体認識装置20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置211は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置211は、例えば、HDD(Hard Disk Drive)またはSSD(Solid Strage Drive)、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置211は、ストレージを駆動し、CPU201が実行するプログラムや各種データを格納する。
The
ドライブ212は、記憶媒体用リーダライタであり、物体認識装置20に内蔵、あるいは外付けされる。ドライブ212は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体24に記録されている情報を読み出して、RAM203またはストレージ装置211に出力する。また、ドライブ212は、リムーバブル記憶媒体24に情報を書き込むこともできる。
The
ネットワークインタフェース215は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース215は、無線LAN(Local Area Network)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
The
<6.補足>
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
<6. Supplement>
Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited to such examples. It is clear that a person having ordinary knowledge in the field of technology to which the present invention belongs can come up with various modifications or modifications within the scope of the technical idea described in the claims. , These are also naturally understood to belong to the technical scope of the present invention.
例えば、本明細書の物体認識システムの処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、物体認識システムの処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。 For example, each step in the processing of the object recognition system of the present specification does not necessarily have to be processed in chronological order in the order described as a sequence diagram or a flowchart. For example, each step in the processing of the object recognition system may be processed in an order different from the order described in the flowchart, or may be processed in parallel.
また、物体認識装置20に内蔵されるCPU、ROMおよびRAMなどのハードウェアに、上述した物体認識装置20の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
Further, it is possible to create a computer program for causing the hardware such as the CPU, ROM, and RAM built in the
10 携帯端末
16 警報器
20 物体認識装置
220 通信部
230 検知部
240 表示部
250 操作部
260 記憶部
270 制御部
272 領域設定部
274 領域判定部
276 認識部
10
Claims (10)
前記検知部により検知された物体の位置である検知位置が、事前に設定された領域に含まれるか否かを判定する領域判定部と、
前記領域判定部により前記領域に含まれると判定された物体である領域内物体が、位置推定装置を有する第1の物体、および前記位置推定装置を有さない第2の物体を含む複数種類の物体のうちのいずれの物体であるかを認識する認識部と、
前記第1の物体が有する前記位置推定装置により得られた前記第1の物体の位置情報を受信する受信部と、
を備え、
前記認識部は、前記受信部により受信された位置情報が示す位置と、前記領域内物体の検知位置との関係に基づき、前記領域内物体の認識を行う、物体認識装置。 A detector that detects the position of an object and
An area determination unit that determines whether or not the detection position, which is the position of the object detected by the detection unit, is included in the preset area.
A plurality of types of objects in the region, which are objects determined to be included in the region by the region determination unit, include a first object having a position estimation device and a second object not having the position estimation device. A recognition unit that recognizes which of the objects it is,
A receiving unit that receives the position information of the first object obtained by the position estimation device of the first object, and a receiving unit.
With
The recognition unit is an object recognition device that recognizes an object in the region based on the relationship between the position indicated by the position information received by the reception unit and the detection position of the object in the region.
前記送信部は、前記認識部により前記領域内物体が第3の物体であると認識された場合には前記警報指示を送信せず、前記領域内物体の検知位置の履歴が所定の条件を満たさず、かつ、前記領域内物体が前記第1の物体であると認識された場合には、当該第1の物体が有する装置に警報指示を送信する、請求項4に記載の物体認識装置。 The recognition unit recognizes that the object in the region is a third object when the history of the detection position of the object in the region satisfies a predetermined condition.
When the recognition unit recognizes that the object in the region is a third object, the transmission unit does not transmit the alarm instruction, and the history of the detection position of the object in the region satisfies a predetermined condition. The object recognition device according to claim 4, wherein when the object in the area is recognized as the first object, an alarm instruction is transmitted to the device included in the first object.
物体の位置を検知する検知部と、
前記検知部により検知された物体の位置である検知位置が、事前に設定された領域に含まれるか否かを判定する領域判定部と、
前記領域判定部により前記領域に含まれると判定された物体である領域内物体が、位置推定装置を有する第1の物体、および前記位置推定装置を有さない第2の物体を含む複数種類の物体のうちのいずれの物体であるかを認識する認識部と、
前記第1の物体が有する前記位置推定装置により得られた前記第1の物体の位置情報を受信する受信部と、
を備え、
前記認識部は、前記受信部により受信された位置情報が示す位置と、前記領域内物体の検知位置との関係に基づき、前記領域内物体の認識を行う、物体認識装置、として機能させるための、プログラム。 Computer,
A detector that detects the position of an object and
An area determination unit that determines whether or not the detection position, which is the position of the object detected by the detection unit, is included in the preset area.
A plurality of types of objects in the region, which are objects determined to be included in the region by the region determination unit, include a first object having a position estimation device and a second object not having the position estimation device. A recognition unit that recognizes which of the objects it is,
A receiving unit that receives the position information of the first object obtained by the position estimation device of the first object, and a receiving unit.
With
The recognition unit functions as an object recognition device that recognizes an object in the region based on the relationship between the position indicated by the position information received by the reception unit and the detection position of the object in the region. ,program.
前記位置推定装置は、
前記位置推定装置の位置を推定する位置推定部、および
前記位置推定部により推定された位置を示す位置情報を前記物体認識装置に送信する送信部、を有し、
前記物体認識装置は、
物体の位置を検知する検知部、
前記検知部により検知された物体の位置である検知位置が、事前に設定された領域に含まれるか否かを判定する領域判定部、
前記領域判定部により前記領域に含まれると判定された物体である領域内物体が、前記位置推定装置を有する前記第1の物体、および前記位置推定装置を有さない第2の物体を含む複数種類の物体のうちのいずれの物体であるかを認識する認識部と、
前記第1の物体が有する前記位置推定装置により得られた前記第1の物体の位置情報を受信する受信部と、
を備え、
前記認識部は、前記受信部により受信された位置情報が示す位置と、前記領域内物体の検知位置との関係に基づき、前記領域内物体の認識を行う、物体認識システム。
An object recognition system including a position estimation device and an object recognition device possessed by the first object.
The position estimation device is
It has a position estimation unit that estimates the position of the position estimation device, and a transmission unit that transmits position information indicating the position estimated by the position estimation unit to the object recognition device.
The object recognition device is
Detector that detects the position of an object,
An area determination unit that determines whether or not a detection position, which is a position of an object detected by the detection unit, is included in a preset area.
A plurality of objects in the region, which are objects determined to be included in the region by the region determination unit, include the first object having the position estimation device and the second object not having the position estimation device. A recognition unit that recognizes which of the types of objects it is,
A receiving unit that receives the position information of the first object obtained by the position estimation device of the first object, and a receiving unit.
With
The recognition unit is an object recognition system that recognizes an object in the region based on the relationship between the position indicated by the position information received by the reception unit and the detection position of the object in the region.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019153572A JP7375371B2 (en) | 2019-08-26 | 2019-08-26 | Object recognition device, program and object recognition system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019153572A JP7375371B2 (en) | 2019-08-26 | 2019-08-26 | Object recognition device, program and object recognition system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021033672A true JP2021033672A (en) | 2021-03-01 |
JP7375371B2 JP7375371B2 (en) | 2023-11-08 |
Family
ID=74678700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019153572A Active JP7375371B2 (en) | 2019-08-26 | 2019-08-26 | Object recognition device, program and object recognition system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7375371B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010117882A (en) * | 2008-11-13 | 2010-05-27 | Hitachi Constr Mach Co Ltd | On-site monitoring system |
JP2018013855A (en) * | 2016-07-19 | 2018-01-25 | 日本電信電話株式会社 | Behavior recognition device and behavior recognition method |
JP2018061114A (en) * | 2016-10-04 | 2018-04-12 | 日本電信電話株式会社 | Monitoring device and monitoring method |
-
2019
- 2019-08-26 JP JP2019153572A patent/JP7375371B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010117882A (en) * | 2008-11-13 | 2010-05-27 | Hitachi Constr Mach Co Ltd | On-site monitoring system |
JP2018013855A (en) * | 2016-07-19 | 2018-01-25 | 日本電信電話株式会社 | Behavior recognition device and behavior recognition method |
JP2018061114A (en) * | 2016-10-04 | 2018-04-12 | 日本電信電話株式会社 | Monitoring device and monitoring method |
Also Published As
Publication number | Publication date |
---|---|
JP7375371B2 (en) | 2023-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9626856B2 (en) | Detecting presence using a presence sensor network | |
EP3605314B1 (en) | Display method and apparatus | |
US20190084161A1 (en) | Robot control apparatus, system and method | |
US11386698B2 (en) | Method and device for sending alarm message | |
CN110335386B (en) | Identity authentication method, device, terminal and storage medium | |
CN109521978B (en) | Content display method and terminal equipment | |
US10181230B2 (en) | System and method for controlling access at access point | |
JP2011209579A (en) | Image display system and control method thereof | |
CN106781242A (en) | The method for early warning and device of danger zone | |
JP2018197918A (en) | Portable terminal, control method thereof, and program | |
CN113689687A (en) | Ultra-wideband-based equipment control method and device | |
US20160352757A1 (en) | Information interaction method, apparatus and system | |
CN113807228A (en) | Parking event prompting method and device, electronic equipment and storage medium | |
US10271167B2 (en) | Item management system | |
JP2021033672A (en) | Object recognition device, program, and object recognition system | |
CN108400994B (en) | User authentication method, mobile terminal, server, and computer-readable storage medium | |
CN114338770B (en) | Cross-blockchain data processing method and device, storage medium and terminal equipment | |
CN107995150B (en) | Identity verification method and device | |
CN109831770B (en) | Pairing method and device of mobile terminal, storage medium and mobile terminal | |
CN114126083A (en) | Cross-network-segment wireless screen projection method and device, electronic equipment and storage medium | |
US20160379416A1 (en) | Apparatus and method for controlling object movement | |
CN109995849B (en) | Information recording method and terminal equipment | |
EP2658292B1 (en) | Method and apparatus to detect interaction between devices | |
CN109976854B (en) | Application processing method and terminal equipment | |
CN112306615A (en) | Interactive method and device based on artificial intelligence, electronic equipment and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231009 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7375371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |