JP2020120323A - Information processing device and collation method - Google Patents

Information processing device and collation method Download PDF

Info

Publication number
JP2020120323A
JP2020120323A JP2019011313A JP2019011313A JP2020120323A JP 2020120323 A JP2020120323 A JP 2020120323A JP 2019011313 A JP2019011313 A JP 2019011313A JP 2019011313 A JP2019011313 A JP 2019011313A JP 2020120323 A JP2020120323 A JP 2020120323A
Authority
JP
Japan
Prior art keywords
image data
image
server
body temperature
passenger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019011313A
Other languages
Japanese (ja)
Other versions
JP7136710B2 (en
Inventor
崇 神尾
Takashi Kamio
崇 神尾
英作 宮田
Eisaku Miyata
英作 宮田
剛 喜多
Takeshi Kita
剛 喜多
淳司 東
Junji Azuma
淳司 東
洋希 三井
Hiroki Mitsui
洋希 三井
英雄 大隈
Hideo Okuma
英雄 大隈
恵司 大石
Keiji Oishi
恵司 大石
大輔 工藤
Daisuke Kudo
大輔 工藤
窪田 賢雄
Masao Kubota
賢雄 窪田
國枝 賢徳
Masanori Kunieda
賢徳 國枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iPro Co Ltd
Original Assignee
Panasonic iPro Sensing Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic iPro Sensing Solutions Co Ltd filed Critical Panasonic iPro Sensing Solutions Co Ltd
Priority to JP2019011313A priority Critical patent/JP7136710B2/en
Publication of JP2020120323A publication Critical patent/JP2020120323A/en
Application granted granted Critical
Publication of JP7136710B2 publication Critical patent/JP7136710B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

To provide an information processing device and a collation method capable of properly detecting fevered persons with a thermo camera even when there are many users of a facility.SOLUTION: The information processing device includes: a communication unit that receives a piece of first image data from a thermo camera which picks up images of a first place, receives a piece of second image data from a first monitor camera which picks up images of a first place, and receives a piece of third image data from a second monitor camera which picks up images of a second place where persons who have passed through the first place pass; and a control unit that detects a person with predetermined body temperature or higher from the first image data, extracts the detected image data of a person with a predetermined body temperature or higher from the second image data, and collates the third image data and the image data of the extracted person with the predetermined temperature or higher.SELECTED DRAWING: Figure 1

Description

本開示は、情報処理装置および照合方法に関する。 The present disclosure relates to an information processing device and a matching method.

従来、空港の保安検査場前等に形成された自然発生型または誘導路型の行列が複数であっても、各行列の総延長または各行列を形成する人数を正確に測定する計測システムが提案されている(例えば、特許文献1を参照)。 Conventionally, a measurement system that accurately measures the total length of each matrix or the number of people forming each matrix is proposed even if there are multiple naturally-occurring or taxiway-shaped matrices that are formed in front of the security checkpoint at an airport, etc. (For example, see Patent Document 1).

特開2007−317052号公報JP, 2007-317052, A

空港等の施設では、インフルエンザ等の感染拡大を防止するため、サーモカメラが設置される場合がある。施設の利用者が大勢いる場合でも、サーモカメラを用いて、適切に発熱者を検知できることが望まれる。 Thermo-cameras may be installed at facilities such as airports to prevent the spread of influenza and other infections. Even if there are a large number of users of the facility, it is desirable to be able to properly detect the heat-generating person using the thermo camera.

本開示の非限定的な実施例は、施設の利用者が大勢いる場合でも、サーモカメラを用いて、適切に発熱者を検知できる情報処理装置および照合方法の提供に資する。 The non-limiting example of the present disclosure contributes to the provision of an information processing apparatus and a matching method that can appropriately detect a person who has a fever by using a thermo camera even when there are many users of the facility.

本開示の一態様に係る情報処理装置は、第1の場所を撮影するサーモカメラから第1の画像データを受信し、前記第1の場所を撮影する第1の監視カメラから第2の画像データを受信し、前記第1の場所を通過した人が通過する第2の場所を撮影する第2の監視カメラから第3の画像データを受信する通信部と、前記第1の画像データから所定体温以上の人を検知し、検知した前記所定体温以上の人の画像データを前記第2の画像データから抽出し、前記第3の画像データと、抽出した前記所定体温以上の人の画像データとを照合する制御部と、を有する。 An information processing apparatus according to an aspect of the present disclosure receives first image data from a thermo camera that captures a first location, and receives second image data from a first surveillance camera that captures the first location. And a communication unit that receives third image data from a second surveillance camera that captures a second location where a person who has passed the first location passes, and a predetermined body temperature based on the first image data. The above-mentioned person is detected, image data of the detected person having a predetermined body temperature or higher is extracted from the second image data, and the third image data and the extracted image data of the person having a predetermined body temperature or higher are extracted. And a control unit for collating.

本開示の一態様に係る照合方法は、第1の場所を撮影するサーモカメラから第1の画像データを受信し、前記第1の場所を撮影する第1の監視カメラから第2の画像データを受信し、前記第1の場所を通過した人が通過する第2の場所を撮影する第2の監視カメラから第3の画像データを受信し、前記第1の画像データから所定体温以上の人を検知し、検知した前記所定体温以上の人の画像データを前記第2の画像データから抽出し、前記第3の画像データと、抽出した前記所定体温以上の人の画像データとを照合する。 A matching method according to an aspect of the present disclosure receives first image data from a thermo camera that captures a first location, and obtains second image data from a first surveillance camera that captures the first location. The third image data is received from the second surveillance camera that receives and captures the second place where the person who has passed through the first place passes, and the person having a predetermined body temperature or higher is received from the first image data. The detected image data of the person having the predetermined body temperature or higher is extracted from the second image data, and the third image data is collated with the extracted image data of the person having the predetermined body temperature or higher.

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。 Note that these comprehensive or specific aspects may be realized by a system, a device, a method, an integrated circuit, a computer program, or a recording medium. The system, the device, the method, the integrated circuit, the computer program, and the recording medium. May be realized in any combination.

本開示の一態様によれば、施設の利用者が大勢いる場合でも、サーモカメラを用いて、適切に発熱者を検知できる。 According to one aspect of the present disclosure, even if there are a large number of facility users, a thermo camera can be used to appropriately detect a heat-producing person.

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。 Further advantages and effects of one aspect of the present disclosure will be apparent from the specification and the drawings. Such advantages and/or effects are provided by the features described in several embodiments and in the specification and drawings, respectively, but not necessarily all to obtain one or more of the same features. There is no.

第1の実施の形態に係る検疫システムの一例を示した図The figure which showed an example of the quarantine system which concerns on 1st Embodiment. 検疫システムの概略動作例を説明する図Figure explaining the schematic operation example of the quarantine system サーモカメラのブロック構成例を示した図Diagram showing an example of block configuration of the thermo camera サーバのブロック構成例を示した図Diagram showing an example of the server block configuration 端末装置のブロック構成例を示した図Diagram showing an example of the block configuration of the terminal device サーバにおける乗客の顔データの切り出しを説明する図FIG. 3 is a diagram for explaining the extraction of passenger face data on the server. サーバにおける乗客の顔データの切り出しを説明する図FIG. 3 is a diagram for explaining the extraction of passenger face data on the server. 端末装置の表示装置に表示される画像例を示した図The figure which showed the example of the image displayed on the display device of a terminal device. 端末装置の表示装置に表示される画像例を示した図The figure which showed the example of the image displayed on the display device of a terminal device. 検疫システムの動作例を示したシーケンス図Sequence diagram showing an example of quarantine system operation 端末装置の表示装置に表示される画像例を示した図The figure which showed the example of the image displayed on the display device of a terminal device. 第2の実施の形態に係る検疫システムの構成例を示した図The figure which showed the structural example of the quarantine system which concerns on 2nd Embodiment. 端末装置の表示装置に表示される画像例を示した図The figure which showed the example of the image displayed on the display device of a terminal device. 第3の実施の形態に係る検疫システムの動作例を示したシーケンス図Sequence diagram showing an operation example of the quarantine system according to the third embodiment

以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed description of well-known matters and duplicate description of substantially the same configuration may be omitted. This is for avoiding unnecessary redundancy in the following description and for facilitating understanding by those skilled in the art.

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。 It should be noted that the accompanying drawings and the following description are provided for those skilled in the art to fully understand the present disclosure, and are not intended to limit the subject matter described in the claims by these.

(第1の実施の形態)
図1は、第1の実施の形態に係る検疫システムの一例を示した図である。図1には、検疫システムが適用される例として、空港が示してある。図1に示すように、検疫システムは、サーモカメラ1a,1bと、監視カメラ2a,2b,3と、サーバ4,5と、端末装置6a,6bと、を有している。
(First embodiment)
FIG. 1 is a diagram showing an example of a quarantine system according to the first embodiment. In FIG. 1, an airport is shown as an example to which the quarantine system is applied. As shown in FIG. 1, the quarantine system has thermo cameras 1a and 1b, monitoring cameras 2a, 2b and 3, servers 4 and 5, and terminal devices 6a and 6b.

サーモカメラ1aおよび監視カメラ2aは、飛行機A1aが到着する付近の、空港ターミナル内の壁または天井等に設置される。サーモカメラ1aおよび監視カメラ2aは、空港ターミナル内の場所B1a(飛行機A1aの到着付近)を撮影し、飛行機A1aから降りてきた乗客を撮影する。飛行機A1aから降り、場所B1aを通過した乗客は、ゲートG1(検疫)を通過し、入国審査の手続を行う。 The thermo camera 1a and the surveillance camera 2a are installed on the wall or ceiling in the airport terminal near the arrival of the airplane A1a. The thermo camera 1a and the surveillance camera 2a take a picture of a place B1a (near the arrival of the airplane A1a) in the airport terminal, and take a picture of a passenger who has descended from the airplane A1a. Passengers who have descended from the plane A1a and passed through the place B1a pass through the gate G1 (quarantine) and perform immigration procedures.

サーモカメラ1bおよび監視カメラ2bも、サーモカメラ1aおよび監視カメラ2aと同様に、飛行機A1bが到着する付近の、空港ターミナル内の壁または天井等に設置される。サーモカメラ1bおよび監視カメラ2bは、空港ターミナル内の場所B1b(飛行機A1bの到着付近)を撮影し、飛行機A1bから降りてきた乗客を撮影する。飛行機A1bから降り、場所B1bを通過した乗客は、ゲートG1を通過し、入国審査の手続を行う。 Similarly to the thermo camera 1a and the surveillance camera 2a, the thermo camera 1b and the surveillance camera 2b are also installed on the wall or ceiling in the airport terminal near the arrival of the airplane A1b. The thermo camera 1b and the surveillance camera 2b photograph a place B1b (near the arrival of the airplane A1b) in the airport terminal and photograph a passenger who has descended from the airplane A1b. Passengers who have descended from the plane A1b and passed through the place B1b pass through the gate G1 and undergo immigration procedures.

監視カメラ3は、例えば、空港ターミナル内のゲートG1周辺の壁または天井等に設置される。監視カメラ3は、ゲートG1周辺を撮影し、撮影した画像(動画像)の画像データをサーバ5に送信する。 The surveillance camera 3 is installed, for example, on the wall or ceiling around the gate G1 in the airport terminal. The surveillance camera 3 photographs the vicinity of the gate G1 and transmits the image data of the photographed image (moving image) to the server 5.

また、監視カメラ3は、撮影する画像から、ゲートG1を通過する乗客の顔画像を切り出す。監視カメラ3は、切り出した顔画像の画像データ(静止画像)を、サーバ5に送信する。以下では、顔画像の画像データを顔データと呼ぶことがある。 Further, the surveillance camera 3 cuts out the face image of the passenger who passes through the gate G1 from the image to be captured. The surveillance camera 3 transmits the image data (still image) of the cut-out face image to the server 5. Hereinafter, the image data of the face image may be referred to as face data.

サーバ4は、サーモカメラ1a,1b、監視カメラ2a,2b、およびサーバ5と通信する。サーバ4は、空港ターミナル内に設置されてもよいし、空港ターミナルとは別の場所に設置されてもよい。 The server 4 communicates with the thermo cameras 1a and 1b, the monitoring cameras 2a and 2b, and the server 5. The server 4 may be installed in the airport terminal or may be installed in a place different from the airport terminal.

サーバ4は、サーモカメラ1a,1bの画像から、例えば、37度以上の体温の乗客を検知する。すなわち、サーバ4は、飛行機A1a,A1bから降りてきた乗客のうち、37度以上の体温の乗客を検知する。 The server 4 detects, for example, a passenger having a body temperature of 37 degrees or higher from the images of the thermo cameras 1a and 1b. That is, the server 4 detects a passenger having a body temperature of 37 degrees or higher among the passengers getting off from the airplanes A1a and A1b.

サーバ4は、サーモカメラ1a,1bの画像から、37度以上の体温の乗客を検知すると、監視カメラ2a,2bの画像内に映っている、検知した乗客の顔画像(静止画像)を切り出す。サーバ4は、顔画像を切り出すと、切り出した顔画像の顔データをサーバ5に送信する。すなわち、サーバ4は、飛行機A1a,A1bから降りてきた乗客のうち、37度以上の乗客の顔データをサーバ5に送信する。 When the server 4 detects a passenger having a body temperature of 37 degrees or more from the images of the thermo cameras 1a and 1b, the server 4 cuts out the detected face image (still image) of the passenger shown in the images of the monitoring cameras 2a and 2b. After cutting out the face image, the server 4 transmits the face data of the cut out face image to the server 5. That is, the server 4 transmits the face data of the passengers of 37 degrees or more among the passengers who have descended from the airplanes A1a and A1b to the server 5.

サーバ5は、監視カメラ3および端末装置6aと通信する。サーバ5は、空港ターミナル内に設置されてもよいし、空港ターミナルとは別の場所に設置されてもよい。 The server 5 communicates with the surveillance camera 3 and the terminal device 6a. The server 5 may be installed in the airport terminal or may be installed in a place different from the airport terminal.

上記したように、サーバ4は、飛行機A1a,A1bから降りてきた乗客のうち、37度以上の乗客の顔データをサーバ5に送信する。また、監視カメラ3は、ゲートG1を通過する乗客の顔データをサーバ5に送信する。サーバ5は、サーバ4から送信された顔データと、監視カメラ3から送信される顔データとを照合し、ゲートG1を通過する37度以上の乗客を検知する。 As described above, the server 4 transmits to the server 5 the face data of the passengers of 37 degrees or more among the passengers getting off from the airplanes A1a and A1b. Further, the surveillance camera 3 transmits the face data of the passenger passing through the gate G1 to the server 5. The server 5 collates the face data transmitted from the server 4 with the face data transmitted from the surveillance camera 3, and detects passengers passing through the gate G1 at 37 degrees or more.

サーバ5は、顔データの照合により、体温が37度以上の乗客を検知すると、37度以上の乗客を検知したことを示す一致情報と、37度以上の乗客の顔データとを端末装置6aに送信する。 When the server 5 detects a passenger having a body temperature of 37 degrees or more by collating the face data, the server 5 provides the terminal device 6a with matching information indicating that a passenger having a body temperature of 37 degrees or more is detected and the face data of the passenger having a temperature of 37 degrees or more. Send.

端末装置6aは、例えば、パーソナルコンピュータ等の端末装置である。端末装置6aは、例えば、ゲートG1周辺に設けられた検疫室に設置される。端末装置6aは、サーバ5から送信される監視カメラ3の動画像(ライブ画像)を表示装置に表示する。端末装置6aは、例えば、検疫室において、発熱者を監視する検疫官に使用される。 The terminal device 6a is, for example, a terminal device such as a personal computer. The terminal device 6a is installed in, for example, a quarantine room provided around the gate G1. The terminal device 6a displays a moving image (live image) of the surveillance camera 3 transmitted from the server 5 on the display device. The terminal device 6a is used, for example, by a quarantine officer who monitors a fever in a quarantine room.

端末装置6bは、端末装置6aと通信する。端末装置6bは、例えば、タブレット端末またはスマートフォン等の携帯端末である。端末装置6bは、端末装置6aを経由して送信される監視カメラ3の動画像を表示装置に表示する。端末装置6bは、例えば、ゲートG1周辺において、発熱者を監視する検疫官に使用される。 The terminal device 6b communicates with the terminal device 6a. The terminal device 6b is, for example, a mobile terminal such as a tablet terminal or a smartphone. The terminal device 6b displays the moving image of the surveillance camera 3 transmitted via the terminal device 6a on the display device. The terminal device 6b is used, for example, by a quarantine officer who monitors a fever in the vicinity of the gate G1.

図1の検疫システムの概略動作例について説明する。 A schematic operation example of the quarantine system in FIG. 1 will be described.

図2は、検疫システムの概略動作例を説明する図である。図2において、図1と同じものには同じ符号が付してある。図2には、図1に示した検疫システムの一部が示してある。 FIG. 2 is a diagram illustrating a schematic operation example of the quarantine system. 2, the same parts as those in FIG. 1 are designated by the same reference numerals. FIG. 2 shows a part of the quarantine system shown in FIG.

図2には、飛行機A1aから降りた乗客A11が示してある。乗客A11の体温は、37度以上とする。 FIG. 2 shows a passenger A11 getting off from the airplane A1a. The body temperature of the passenger A11 is 37 degrees or more.

乗客A11は、空港ターミナルの場所B1aを通過する。サーモカメラ1aおよび監視カメラ2aは、場所B1aを通過する乗客A11を撮影し、乗客A11の画像をサーバ4に送信する(ステップS1a,S1b)。 Passenger A11 passes through location B1a of the airport terminal. The thermo camera 1a and the surveillance camera 2a capture an image of the passenger A11 passing through the place B1a and send an image of the passenger A11 to the server 4 (steps S1a and S1b).

サーバ4は、サーモカメラ1aの画像から、乗客A11の体温が37度以上であることを検知する。サーバ4は、乗客A11の体温が37度以上であることを検知すると、監視カメラ2aの画像から、乗客A11の顔画像を切り出す(抽出する)。サーバ4は、切り出した乗客A11の顔データをサーバ5に送信し、記憶する(ステップS2)。以下では、サーバ5に記憶された顔データを登録顔データと呼ぶことがある。 The server 4 detects from the image of the thermo camera 1a that the body temperature of the passenger A11 is 37 degrees or more. When the server 4 detects that the body temperature of the passenger A11 is 37 degrees or higher, the server 4 cuts out (extracts) the face image of the passenger A11 from the image of the monitoring camera 2a. The server 4 transmits the cut-out face data of the passenger A11 to the server 5 and stores it (step S2). Hereinafter, the face data stored in the server 5 may be referred to as registered face data.

監視カメラ3は、ゲートG1周辺を通過する乗客の顔画像を切り出し、切り出した顔画像の顔データをサーバ5に送信する。ここで、乗客A11は、図2の矢印A12に示すように、空港ターミナルの場所B1aからゲートG1に向かって移動する。乗客A11がゲートG1を通過すると、監視カメラ3は、乗客A11の顔データをサーバ5に送信する(ステップS3)。 The monitoring camera 3 cuts out the face image of the passenger passing around the gate G1 and transmits the face data of the cut-out face image to the server 5. Here, the passenger A11 moves from the place B1a of the airport terminal toward the gate G1 as shown by an arrow A12 in FIG. When the passenger A11 passes through the gate G1, the surveillance camera 3 transmits the face data of the passenger A11 to the server 5 (step S3).

サーバ5は、記憶した乗客の顔データと、監視カメラ3から送信される乗客の顔データとを照合する。ここでは、ステップS2にてサーバ5に記憶された乗客A11の顔データと、ステップS3にて送信された乗客A11の顔データとが一致する。サーバ5は、顔データの一致を判定すると、一致情報と、乗客A11の顔データとを端末装置6aに通知(送信)する(ステップS4)。なお、サーバ5は、記憶した登録顔データを端末装置6aに送信する。 The server 5 collates the stored passenger face data with the passenger face data transmitted from the surveillance camera 3. Here, the face data of the passenger A11 stored in the server 5 in step S2 matches the face data of the passenger A11 transmitted in step S3. When the server 5 determines that the face data match, the server 5 notifies (transmits) the match information and the face data of the passenger A11 to the terminal device 6a (step S4). The server 5 transmits the stored registered face data to the terminal device 6a.

端末装置6aは、サーバ5から一致情報と、登録顔データとを受信すると、表示装置に表示しているゲートG1周辺のライブ画像上(監視カメラ3が撮影するライブ画像上)において、登録顔データの顔画像に一致する顔画像にマーカを付与する(ステップS5)。例えば、端末装置6aの表示装置には、ゲートG1を通過する乗客A11が表示されている。乗客A11の顔には、図2に示すように、四角形状のマーカM1が付されている。 When the terminal device 6a receives the matching information and the registered face data from the server 5, the registered face data is displayed on the live image around the gate G1 (on the live image captured by the surveillance camera 3) displayed on the display device. A marker is attached to the face image that matches the face image of (step S5). For example, the passenger A11 passing through the gate G1 is displayed on the display device of the terminal device 6a. As shown in FIG. 2, a quadrilateral marker M1 is attached to the face of the passenger A11.

端末装置6aは、表示装置に表示している画像データを端末装置6bに送信する(ステップS6)。 The terminal device 6a transmits the image data displayed on the display device to the terminal device 6b (step S6).

端末装置6bは、端末装置6aから送信される画像データの画像を表示装置に表示する(ステップS7)。例えば、端末装置6bの表示装置には、端末装置6aの表示装置と同様に、ゲートG1を通過する乗客A11が表示されている。乗客A11の顔には、図2に示すように、四角形状のマーカM1が付されている。 The terminal device 6b displays the image of the image data transmitted from the terminal device 6a on the display device (step S7). For example, the passenger A11 passing through the gate G1 is displayed on the display device of the terminal device 6b similarly to the display device of the terminal device 6a. As shown in FIG. 2, a quadrilateral marker M1 is attached to the face of the passenger A11.

飛行機A1a,A1bから降りた乗客は、ゲートG1に向かう。従って、ゲートG1には、大勢の乗客が集まる場合がある。サーバ4,5(情報処理装置)は、37度以上の体温の乗客がゲートG1を通過する前に、場所B1a,B1bにおいて、サーモカメラ1a,1bの画像から37度以上の体温の乗客を検知し、検知した乗客の顔データを登録する。そして、情報処理装置は、登録した登録顔データと、ゲートG1周辺を撮影する監視カメラ3の顔データとを照合して、37度以上の体温の乗客を検知し、端末装置6a,6bに通知する。これにより、情報処理装置は、大勢の乗客がゲートG1を通過する場合でも、適切に発熱者を検知できる。 Passengers getting off from the planes A1a and A1b head toward the gate G1. Therefore, a large number of passengers may gather at the gate G1. The servers 4 and 5 (information processing devices) detect passengers having a body temperature of 37 degrees or higher from the images of the thermo cameras 1a and 1b at the locations B1a and B1b before the passengers having a body temperature of 37 degrees or higher pass through the gate G1. Then, the detected passenger face data is registered. Then, the information processing device collates the registered face data registered with the face data of the surveillance camera 3 for photographing the periphery of the gate G1, detects a passenger having a body temperature of 37 degrees or more, and notifies the terminal devices 6a and 6b. To do. Accordingly, the information processing apparatus can appropriately detect a heat-producing person even when a large number of passengers pass through the gate G1.

なお、飛行機A1a,A1bの到着付近に設けられるサーモカメラおよび監視カメラの台数は、図1の例に限られない。サーモカメラおよび監視カメラの各々は、空港ターミナルに3台以上設置されてもよい。また、ゲートG1を撮影する監視カメラの台数は、図1の例に限られない。ゲートG1を撮影する監視カメラの台数は、2台以上であってもよい。また、検疫官の使用する端末装置の台数は、図1の例に限られない。検疫官の使用する端末装置の台数は、2台以上であってもよい。 The number of thermo cameras and surveillance cameras provided near the arrival of the airplanes A1a and A1b is not limited to the example of FIG. Each of the thermo camera and the surveillance camera may be installed in three or more at the airport terminal. Further, the number of monitoring cameras that capture the gate G1 is not limited to the example of FIG. The number of surveillance cameras that capture the gate G1 may be two or more. Further, the number of terminal devices used by the quarantine officer is not limited to the example of FIG. The number of terminal devices used by the quarantine officer may be two or more.

また、サーバ4,5の機能は、1台のサーバによって実現されてもよい。また、サーバ4の機能は、2台以上のサーバによって実現されてもよい。また、サーバ5の機能は、2台以上のサーバによって実現されてもよい。 Further, the functions of the servers 4 and 5 may be realized by one server. Further, the function of the server 4 may be realized by two or more servers. Further, the function of the server 5 may be realized by two or more servers.

また、サーバ4,5は、1台の情報処理装置と捉えてもよい。すなわち、情報処理装置は、サーバ4,5で構成されると捉えてもよい。また、情報処理装置は、1台のサーバで構成されてもよいし、3台以上のサーバで構成されてもよい。 Further, the servers 4 and 5 may be regarded as one information processing device. That is, the information processing device may be regarded as including the servers 4 and 5. Further, the information processing device may be configured by one server, or may be configured by three or more servers.

また、上記では、サーバ4は、37度以上の乗客を検知するとしたが、これに限られない。検知する温度は、ユーザによって設定(変更)されてもよい。 Further, in the above, the server 4 detects passengers at 37 degrees or more, but the present invention is not limited to this. The temperature to be detected may be set (changed) by the user.

また、端末装置6bは、端末装置6aと通信するとしたが、これに限られない。端末装置6bは、端末装置6aを経由せず、サーバ5と通信してもよい。また、端末装置6aは、タブレット端末またはスマートフォン等の携帯端末であってもよい。 Further, although the terminal device 6b communicates with the terminal device 6a, the present invention is not limited to this. The terminal device 6b may communicate with the server 5 without passing through the terminal device 6a. The terminal device 6a may be a mobile terminal such as a tablet terminal or a smartphone.

また、図1の検疫システムは、空港において適用されるとしたが、これに限られない。図1の検疫システムは、港湾または病院等の施設において、適用されてもよい。 Further, although the quarantine system in FIG. 1 is applied at the airport, it is not limited to this. The quarantine system of FIG. 1 may be applied in a facility such as a port or a hospital.

図3は、サーモカメラ1aのブロック構成例を示した図である。図3に示すように、サーモカメラ1aは、撮像部11と、制御部12と、通信部13と、記憶部14と、を有している。 FIG. 3 is a diagram showing a block configuration example of the thermo camera 1a. As shown in FIG. 3, the thermo camera 1 a includes an imaging unit 11, a control unit 12, a communication unit 13, and a storage unit 14.

撮像部11は、赤外線撮像素子(図示せず)の受光面に受けたIR光を電気信号に変換する。撮像部11は、赤外線撮像素子の受光面において受けたIR光に応じた電気信号(アナログ信号)をデジタル信号に変換して、制御部12に出力する。 The imaging unit 11 converts the IR light received by the light receiving surface of the infrared imaging device (not shown) into an electric signal. The imaging unit 11 converts an electric signal (analog signal) corresponding to the IR light received on the light receiving surface of the infrared imaging element into a digital signal, and outputs the digital signal to the control unit 12.

制御部12は、サーモカメラ1a全体を制御する。制御部12は、例えば、CPU(Central Processing Unit)またはDSP(Digital signal Processer)によって構成されてもよい。 The control unit 12 controls the entire thermo camera 1a. The control unit 12 may be configured by, for example, a CPU (Central Processing Unit) or a DSP (Digital signal Processor).

通信部13は、サーバ4と通信する。通信部13は、例えば、イーサネット(登録商標)ケーブル等のネットワークケーブル(有線)を介して、サーバ4と通信してもよい。また、通信部13は、例えば、Wi−Fi等の近距離無線通信を介して、サーバ4と通信してもよい。 The communication unit 13 communicates with the server 4. The communication unit 13 may communicate with the server 4 via a network cable (wired) such as an Ethernet (registered trademark) cable, for example. Further, the communication unit 13 may communicate with the server 4 via short-range wireless communication such as Wi-Fi.

記憶部14は、制御部12が動作するためのプログラムが記憶される。また、記憶部14には、制御部12が計算処理を行うためのデータ、または、制御部12が各部を制御するためのデータ等が記憶される。記憶部14は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、およびHDD(Hard Disk Drive)などの記憶装置によって構成されてもよい。 The storage unit 14 stores a program for operating the control unit 12. In addition, the storage unit 14 stores data for the control unit 12 to perform calculation processing, data for the control unit 12 to control each unit, and the like. The storage unit 14 may be configured by a storage device such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, and an HDD (Hard Disk Drive).

なお、サーモカメラ1bは、サーモカメラ1aと同様のブロック構成を有している。 The thermo camera 1b has the same block configuration as the thermo camera 1a.

また、監視カメラ2a,2bも、サーモカメラ1aと同様のブロック構成を有するが、撮像部の機能が異なる。監視カメラ2a,2bの撮像部は、撮像素子の受光面において受けた可視光を電気信号に変換する。 Further, the surveillance cameras 2a and 2b also have the same block configuration as the thermo camera 1a, but the functions of the image pickup units are different. The imaging units of the monitoring cameras 2a and 2b convert visible light received on the light receiving surface of the image sensor into an electric signal.

また、監視カメラ3も、サーモカメラ1aと同様のブロック構成を有するが、撮像部および通信部の機能が異なる。監視カメラ3の撮像部は、撮像素子の受光面において受けた可視光を電気信号に変換する。また、監視カメラ3の通信部は、サーバ5と通信する。監視カメラ3の通信部は、例えば、イーサネットケーブル等のネットワークケーブルを介して、サーバ5と通信してもよい。また、監視カメラ3の通信部は、例えば、Wi−Fi等の近距離無線通信を介して、サーバ5と通信してもよい。 The surveillance camera 3 also has the same block configuration as the thermo camera 1a, but the functions of the imaging unit and the communication unit are different. The image pickup unit of the monitoring camera 3 converts visible light received on the light receiving surface of the image pickup element into an electric signal. Further, the communication unit of the surveillance camera 3 communicates with the server 5. The communication unit of the surveillance camera 3 may communicate with the server 5 via a network cable such as an Ethernet cable, for example. Further, the communication unit of the surveillance camera 3 may communicate with the server 5 via short-range wireless communication such as Wi-Fi.

図4は、サーバ4のブロック構成例を示した図である。図4に示すように、サーバ4は、制御部21と、通信部22と、記憶部23と、を有している。 FIG. 4 is a diagram showing a block configuration example of the server 4. As shown in FIG. 4, the server 4 has a control unit 21, a communication unit 22, and a storage unit 23.

制御部21は、サーバ4全体を制御する。制御部21は、例えば、CPUによって構成されてもよい。 The control unit 21 controls the entire server 4. The control unit 21 may be configured by a CPU, for example.

通信部22は、サーモカメラ1a,1b、監視カメラ2a,2b、およびサーバ5と通信する。通信部22は、例えば、イーサネットケーブル等のネットワークケーブルを介して、サーモカメラ1a,1b、監視カメラ2a,2b、およびサーバ5と通信してもよい。また、通信部22は、例えば、Wi−Fi等の近距離無線通信を介して、サーモカメラ1a,1b、監視カメラ2a,2b、およびサーバ5と通信してもよい。 The communication unit 22 communicates with the thermo cameras 1a and 1b, the monitoring cameras 2a and 2b, and the server 5. The communication unit 22 may communicate with the thermo cameras 1a and 1b, the monitoring cameras 2a and 2b, and the server 5, for example, via a network cable such as an Ethernet cable. Further, the communication unit 22 may communicate with the thermo cameras 1a and 1b, the monitoring cameras 2a and 2b, and the server 5 via short-range wireless communication such as Wi-Fi.

記憶部23は、制御部21が動作するためのプログラムが記憶される。また、記憶部23には、制御部21が計算処理を行うためのデータ、または、制御部21が各部を制御するためのデータ等が記憶される。記憶部23は、RAM、ROM、フラッシュメモリ、およびHDDなどの記憶装置によって構成されてもよい。 The storage unit 23 stores a program for operating the control unit 21. Further, the storage unit 23 stores data for the control unit 21 to perform calculation processing, data for the control unit 21 to control each unit, and the like. The storage unit 23 may be configured by a storage device such as a RAM, a ROM, a flash memory, and an HDD.

なお、サーバ5は、サーバ4と同様のブロック構成を有するが、通信部の機能が異なる。サーバ5の通信部は、監視カメラ3、サーバ4、および端末装置6aと通信する。サーバ5の通信部は、例えば、イーサネットケーブル等のネットワークケーブルを介して、監視カメラ3、サーバ4、および端末装置6aと通信してもよい。また、サーバ5の通信部は、例えば、Wi−Fi等の近距離無線通信を介して、監視カメラ3、サーバ4、および端末装置6aと通信してもよい。 The server 5 has the same block configuration as the server 4, but the function of the communication unit is different. The communication unit of the server 5 communicates with the surveillance camera 3, the server 4, and the terminal device 6a. The communication unit of the server 5 may communicate with the surveillance camera 3, the server 4, and the terminal device 6a via a network cable such as an Ethernet cable, for example. Further, the communication unit of the server 5 may communicate with the surveillance camera 3, the server 4, and the terminal device 6a, for example, via short-range wireless communication such as Wi-Fi.

図5は、端末装置6aのブロック構成例を示した図である。図5に示すように、端末装置6aは、制御部31と、入力部32と、表示部33と、通信部34と、記憶部35と、を有している。 FIG. 5 is a diagram showing a block configuration example of the terminal device 6a. As shown in FIG. 5, the terminal device 6 a includes a control unit 31, an input unit 32, a display unit 33, a communication unit 34, and a storage unit 35.

制御部31は、端末装置6a全体を制御する。制御部31は、例えば、CPUによって構成されてもよい。 The control unit 31 controls the entire terminal device 6a. The control unit 31 may be configured by a CPU, for example.

入力部32は、例えば、キーボード、表示装置の画面上に重畳されたタッチパネル、またはマウス等の入力装置(図示せず)に接続されている。入力部32は、入力装置から出力された、ユーザの操作に応じた信号を受信し、制御部31に出力する。 The input unit 32 is connected to an input device (not shown) such as a keyboard, a touch panel superimposed on the screen of a display device, or a mouse, for example. The input unit 32 receives a signal output from the input device according to a user operation, and outputs the signal to the control unit 31.

表示部33は、端末装置6aが備える表示装置(図示せず)に接続されている。表示部33は、制御部31から出力される画像データを表示装置に出力する。 The display unit 33 is connected to a display device (not shown) included in the terminal device 6a. The display unit 33 outputs the image data output from the control unit 31 to the display device.

通信部34は、サーバ5および端末装置6bと通信する。通信部34は、例えば、イーサネットケーブル等のネットワークケーブルを介して、サーバ5および端末装置6aと通信してもよい。また、通信部34は、例えば、Wi−Fi等の近距離無線通信を介して、サーバ5および端末装置6aと通信してもよい。 The communication unit 34 communicates with the server 5 and the terminal device 6b. The communication unit 34 may communicate with the server 5 and the terminal device 6a, for example, via a network cable such as an Ethernet cable. In addition, the communication unit 34 may communicate with the server 5 and the terminal device 6a, for example, via short-range wireless communication such as Wi-Fi.

記憶部35は、制御部31が動作するためのプログラムが記憶される。また、記憶部35には、制御部31が計算処理を行うためのデータ、または、制御部31が各部を制御するためのデータ等が記憶される。記憶部35は、RAM、ROM、フラッシュメモリ、およびHDDなどの記憶装置によって構成されてもよい。 The storage unit 35 stores a program for operating the control unit 31. Further, the storage unit 35 stores data for the control unit 31 to perform calculation processing, data for the control unit 31 to control each unit, and the like. The storage unit 35 may be configured by a storage device such as a RAM, a ROM, a flash memory, and an HDD.

なお、端末装置6bは、端末装置6aと同様のブロック構成を有しているが、通信部の機能が異なる。端末装置6bの通信部は、端末装置6aと通信する。端末装置6bの通信部は、例えば、Wi−Fi等の近距離無線通信を介して、端末装置6aと通信してもよい。 The terminal device 6b has the same block configuration as the terminal device 6a, but the function of the communication unit is different. The communication unit of the terminal device 6b communicates with the terminal device 6a. The communication unit of the terminal device 6b may communicate with the terminal device 6a, for example, via short-range wireless communication such as Wi-Fi.

図6Aおよび図6Bは、サーバ4における乗客の顔データの切り出しを説明する図である。以下で記述する「同じ」には、「ほぼ同じ」が含まれてもよい。 FIG. 6A and FIG. 6B are diagrams for explaining cutting out of passenger face data in the server 4. The “same” described below may include “substantially the same”.

サーモカメラ1aと監視カメラ2aは、空港ターミナル内の同じ場所(同じ空間)を、同じ画角で撮影している。従って、サーモカメラ1aが撮影する画像上の撮影対象物の座標と、監視カメラ2aが撮影する画像上の撮影対象物の座標は同じとなる。 The thermo camera 1a and the surveillance camera 2a photograph the same place (same space) in the airport terminal at the same angle of view. Therefore, the coordinates of the shooting target on the image captured by the thermo camera 1a and the coordinates of the shooting target on the image captured by the monitoring camera 2a are the same.

例えば、図6Aには、サーモカメラ1aが撮影する画像例が示してある。図6Bには、監視カメラ2aが撮影する画像例が示してある。サーモカメラ1aと監視カメラ2aは、空港ターミナル内の同じ場所を、同じ画角で撮影しているので、図6Aに示す乗客A21aと図6Bに示す乗客A21bは、画像上において同じ位置(座標)で撮影される。また、図6Aに示す乗客A22aと図6Bに示す乗客A22bは、画像上において同じ位置(座標)で撮影される。 For example, FIG. 6A shows an example of an image captured by the thermo camera 1a. FIG. 6B shows an example of an image captured by the surveillance camera 2a. Since the thermo camera 1a and the surveillance camera 2a photograph the same place in the airport terminal at the same angle of view, the passenger A21a shown in FIG. 6A and the passenger A21b shown in FIG. 6B have the same position (coordinates) on the image. Taken in. Further, the passenger A22a shown in FIG. 6A and the passenger A22b shown in FIG. 6B are photographed at the same position (coordinates) on the image.

なお、図6Aに示す乗客A21a,A22aは、サーモカメラ1aで撮影されるため、温度に応じた色の濃淡で表示される。また、図6Bに示す乗客A21b,22bは、監視カメラ2aで撮影されるため、可視光色で表示される。 Since the passengers A21a and A22a shown in FIG. 6A are photographed by the thermo camera 1a, they are displayed in shades of color according to the temperature. Further, the passengers A21b and 22b shown in FIG. 6B are displayed by the visible light color because they are captured by the surveillance camera 2a.

サーバ4の制御部21は、サーモカメラ1aから受信した画像データから、37度以上の体温の乗客を検知する。例えば、図6Aに示す乗客A21aの体温は、37度以上であり、乗客A22aの体温は、37度未満である。この場合、サーバ4の制御部21は、乗客A21aを検知する。 The control unit 21 of the server 4 detects a passenger having a body temperature of 37 degrees or higher from the image data received from the thermo camera 1a. For example, the body temperature of the passenger A21a shown in FIG. 6A is 37 degrees or more, and the body temperature of the passenger A22a is less than 37 degrees. In this case, the control unit 21 of the server 4 detects the passenger A21a.

サーバ4の制御部21は、体温が37度以上の乗客A21aを検知すると、サーモカメラ1aの画像上における、乗客A21aの顔の中心座標を検出する。例えば、図6Aに示すように、サーバ4の制御部21は、乗客A21aの顔の中心座標(x1,y1)を検出する。 When detecting the passenger A21a whose body temperature is 37 degrees or more, the control unit 21 of the server 4 detects the center coordinates of the face of the passenger A21a on the image of the thermo camera 1a. For example, as shown in FIG. 6A, the control unit 21 of the server 4 detects the center coordinates (x1, y1) of the face of the passenger A21a.

サーバ4の制御部21は、サーモカメラ1aの画像から、乗客A21aの顔の中心座標(x1,y1)を検出すると、検出した中心座標(x1,y1)に基づいて、監視カメラ2aの画像から、乗客A21aの顔画像を切り出す。 When the control unit 21 of the server 4 detects the center coordinates (x1, y1) of the face of the passenger A21a from the image of the thermo camera 1a, based on the detected center coordinates (x1, y1), the control unit 21 of the image of the surveillance camera 2a , The face image of the passenger A21a is cut out.

ここで、上記したように、サーモカメラ1aと監視カメラ2aは、空港ターミナル内の同じ場所を、同じ画角で撮影している。従って、サーバ4の制御部21は、監視カメラ2aの画像上において、サーモカメラ1aから検出した中心座標(x1,y1)の顔画像を切り出せば、体温が37以上の乗客A21bの顔画像を切り出せる。例えば、サーバ4の制御部21は、図6Bに示す監視カメラ2aの画像上において、座標(x1,y1)の顔画像を切り出せば、図6Bに示す点線枠A23で囲む顔画像を切り出せる。 Here, as described above, the thermo camera 1a and the surveillance camera 2a photograph the same place in the airport terminal at the same angle of view. Therefore, if the control unit 21 of the server 4 cuts out the face image of the central coordinates (x1, y1) detected by the thermo camera 1a on the image of the surveillance camera 2a, it cuts the face image of the passenger A21b having a body temperature of 37 or more. I can put it out. For example, the control unit 21 of the server 4 can cut out the face image surrounded by the dotted line frame A23 shown in FIG. 6B by cutting out the face image at the coordinates (x1, y1) on the image of the surveillance camera 2a shown in FIG. 6B.

なお、切り出された顔画像は、監視カメラ3で撮影された乗客の顔画像と照合される。そのため、サーバ4の制御部21は、監視カメラ2aの画像から、縦横数十画素以上において、顔画像を切り出すのが望ましい。 The cut-out face image is collated with the face image of the passenger photographed by the surveillance camera 3. Therefore, it is desirable that the control unit 21 of the server 4 cut out a face image from the image of the surveillance camera 2a in several tens or more vertical and horizontal pixels.

また、上記では、サーバ4のサーモカメラ1aと監視カメラ2aとの画像からの切り出しについて説明したが、サーモカメラ1aと監視カメラ2aとの画像からの切り出しについても同様である。 Further, in the above, the clipping from the images of the thermo camera 1a and the surveillance camera 2a of the server 4 has been described, but the same applies to the clipping from the images of the thermo camera 1a and the surveillance camera 2a.

図7Aおよび図7Bは、端末装置6aの表示装置に表示される画像例を示した図である。端末装置6aの表示装置には、図7Aの画像41に示すように、ゲートG1周辺の画像(監視カメラ3のライブ画像)が表示される。 7A and 7B are diagrams showing examples of images displayed on the display device of the terminal device 6a. On the display device of the terminal device 6a, as shown in an image 41 of FIG. 7A, an image around the gate G1 (live image of the surveillance camera 3) is displayed.

図7Aの画像41には、37度以上の体温の乗客は含まれていない。そのため、図7Aの画像41には、37度以上の体温の乗客を示すマーカが含まれていない。 Image 41 in FIG. 7A does not include passengers with body temperatures above 37 degrees. Therefore, the image 41 of FIG. 7A does not include a marker indicating a passenger having a body temperature of 37 degrees or higher.

サーバ5の記憶部に記憶された登録顔データの顔の乗客がゲートG1周辺を通過する。この場合、監視カメラ3によって切り出された顔データと、サーバ5の記憶部に記憶された登録顔データとが一致する。サーバ5の制御部は、顔データが一致すると、一致情報と、登録顔データとを端末装置6aに送信する。 The passenger having the face of the registered face data stored in the storage unit of the server 5 passes around the gate G1. In this case, the face data cut out by the surveillance camera 3 matches the registered face data stored in the storage unit of the server 5. When the face data match, the control unit of the server 5 transmits the match information and the registered face data to the terminal device 6a.

端末装置6aの制御部は、サーバ5から、一致情報と、登録顔データとを受信すると、表示装置に表示している監視カメラ3のライブ画像上において、登録顔データの顔画像に一致する顔画像にマーカを付与する。また、端末装置6aの制御部は、マーカが付与された顔の顔画像と、サーバ5から受信した登録顔データの顔画像とを表示装置に表示する。 When the control unit of the terminal device 6a receives the matching information and the registered face data from the server 5, the face that matches the face image of the registered face data is displayed on the live image of the surveillance camera 3 displayed on the display device. Add a marker to the image. In addition, the control unit of the terminal device 6a displays the face image of the face to which the marker is added and the face image of the registered face data received from the server 5 on the display device.

図7Bの画像42は、顔データが一致した乗客(体温が37度以上の乗客)が、ゲートG1周辺を通過したときの画像例を示している。図7Bの画像42に示すように、顔データが一致した乗客の顔には、マーカA31が付される。また、図7Bの画像42の右下には、マーカA31が付与された顔の画像42a(拡大画像)と、サーバ5から受信した登録顔データの画像42bとが表示されている。 An image 42 in FIG. 7B shows an example of an image when a passenger whose face data matches (a passenger whose body temperature is 37 degrees or more) passes around the gate G1. As shown in the image 42 of FIG. 7B, a marker A31 is attached to the face of the passenger whose face data match. Further, in the lower right of the image 42 in FIG. 7B, a face image 42a (enlarged image) with the marker A31 and an image 42b of registered face data received from the server 5 are displayed.

このように、端末装置6aの表示装置では、37度以上の体温の乗客にマーカA31が付与される。また、端末装置6aの表示装置には、マーカA31が付与された乗客の顔の画像42aと、登録顔データの画像42bとが表示される。これにより、端末装置6aを使用する検疫官は、ゲートG1を通過する、体温が37度以上の乗客を、検疫室において監視できる。 As described above, in the display device of the terminal device 6a, the marker A31 is attached to the passenger having the body temperature of 37 degrees or higher. Further, the display device of the terminal device 6a displays an image 42a of the face of the passenger to which the marker A31 is added and an image 42b of registered face data. As a result, a quarantine officer using the terminal device 6a can monitor passengers passing through the gate G1 and having a body temperature of 37 degrees or higher in the quarantine room.

なお、図7Aおよび図7Bでは、端末装置6aの表示装置に表示される画像例について説明したが、端末装置6bの表示装置にも同様の画像が表示される。端末装置6bを使用する検疫官は、例えば、ゲートG1を通過する、体温が37度以上の乗客に声をかけ、検疫室に案内できる。 7A and 7B, an example of an image displayed on the display device of the terminal device 6a has been described, but a similar image is displayed on the display device of the terminal device 6b. A quarantine officer who uses the terminal device 6b can call a passenger who passes through the gate G1 and has a body temperature of 37 degrees or more, and guides the passenger to the quarantine room.

また、図2に示した端末装置6a,6bでは、画像42a,42bの表示を省略している。 Further, in the terminal devices 6a and 6b shown in FIG. 2, the display of the images 42a and 42b is omitted.

上記では、サーバ4が切り出した顔画像の顔データは、サーバ5の記憶部に記憶されるとしたが、これに限られない。顔データは、サーバ5とは別体のデータベース(DB)に記憶されてもよい。以下では、顔データは、登録DBに記憶されるとする。登録DBは、例えば、サーバ5の一部と捉えてもよい。 In the above, the face data of the face image cut out by the server 4 is stored in the storage unit of the server 5, but the present invention is not limited to this. The face data may be stored in a database (DB) separate from the server 5. In the following, it is assumed that the face data is stored in the registration DB. The registration DB may be regarded as a part of the server 5, for example.

図8は、検疫システムの動作例を示したシーケンス図である。図8には、図1に示したサーモカメラ1a、監視カメラ2a,3、サーバ4,5、端末装置6a,6bの動作例が示してある。図8に示す乗客A41は、体温が37度以上とする。 FIG. 8 is a sequence diagram showing an operation example of the quarantine system. FIG. 8 shows an operation example of the thermo camera 1a, the monitoring cameras 2a and 3, the servers 4 and 5, and the terminal devices 6a and 6b shown in FIG. The passenger A41 shown in FIG. 8 has a body temperature of 37 degrees or higher.

サーモカメラ1aの通信部13および監視カメラ2aの通信部は、撮影する画像(ライブ画像)の画像データをサーバ4に送信する(ステップS11a,S11b)。 The communication unit 13 of the thermo camera 1a and the communication unit of the surveillance camera 2a transmit the image data of the image (live image) to be captured to the server 4 (steps S11a and S11b).

ここで、乗客A41が、サーモカメラ1aおよび監視カメラ2aの撮影範囲内を通過すると、サーモカメラ1aおよび監視カメラ2aが撮影する画像には、乗客A41の画像が含まれる。 Here, when the passenger A41 passes through the photographing range of the thermo camera 1a and the surveillance camera 2a, the images photographed by the thermo camera 1a and the surveillance camera 2a include the image of the passenger A41.

サーバ4の制御部21は、サーモカメラ1aの画像から、体温が37度以上の乗客A41を検知する。サーバ4は、乗客A41を検知すると、監視カメラ2aの画像から、乗客A41の顔画像を切り出す(ステップS12)。 The control unit 21 of the server 4 detects the passenger A41 having a body temperature of 37 degrees or higher from the image of the thermo camera 1a. When detecting the passenger A41, the server 4 cuts out the face image of the passenger A41 from the image of the surveillance camera 2a (step S12).

サーバ4の通信部22は、ステップS12にて切り出された顔画像の顔データをサーバ5に送信する(ステップS13)。なお、図8に示す顔データ51は、サーバ4が切り出した乗客A41の顔データを示している。 The communication unit 22 of the server 4 transmits the face data of the face image cut out in step S12 to the server 5 (step S13). The face data 51 shown in FIG. 8 represents the face data of the passenger A41 cut out by the server 4.

サーバ5の制御部は、ステップS13にて送信された顔データを登録DBに記憶(登録)する(ステップS14)。 The control unit of the server 5 stores (registers) the face data transmitted in step S13 in the registration DB (step S14).

飛行機A1aを降りた乗客A41は、図8の矢印A42に示すように、ゲートG1に向かう。監視カメラ3は、ゲートG1周辺に到達した乗客A41を撮影し、乗客A41の顔画像を切り出す。監視カメラ3は、切り出した顔画像の顔データをサーバ5に送信する(ステップS15)。なお、図8に示す顔データ52は、監視カメラ3が切り出した乗客A41の顔データを示している。 The passenger A41 getting off the airplane A1a heads to the gate G1 as shown by an arrow A42 in FIG. The surveillance camera 3 photographs the passenger A41 that has reached the vicinity of the gate G1 and cuts out a face image of the passenger A41. The surveillance camera 3 transmits the face data of the cut-out face image to the server 5 (step S15). The face data 52 shown in FIG. 8 is the face data of the passenger A41 cut out by the surveillance camera 3.

サーバ5の制御部は、監視カメラ3から送信された顔データと、登録DBに記憶されている登録顔データとを照合する(ステップS16)。監視カメラ3から送信された乗客A41の顔データ、すなわち、ゲートG1周辺を通過する乗客A41の顔データは、登録DBに記憶されているので、サーバ5の制御部は、乗客A41の顔データは登録DBに記憶されている登録顔データと一致すると判定する。 The control unit of the server 5 collates the face data transmitted from the surveillance camera 3 with the registered face data stored in the registration DB (step S16). Since the face data of the passenger A41 transmitted from the surveillance camera 3, that is, the face data of the passenger A41 passing around the gate G1 is stored in the registration DB, the control unit of the server 5 determines that the face data of the passenger A41 is It is determined that it matches the registered face data stored in the registration DB.

サーバ5の制御部は、顔データの一致を判定すると、一致情報と乗客A41の登録顔データとを端末装置6aに送信する(ステップS17)。なお、端末装置6aの表示部33は、監視カメラ3から送信されるライブ画像を表示装置に表示している。端末装置6aの制御部31は、ステップS17にて受信した登録顔データに基づいて、表示装置に表示されているライブ画像に映し出されている乗客A41の顔画像にマーカを付与する。また、端末装置6aの制御部31は、マーカを付した乗客A41の顔画像と、ステップS17にて受信した登録顔データの顔画像とを表示装置に表示する。 When determining that the face data match, the control unit of the server 5 transmits the match information and the registered face data of the passenger A41 to the terminal device 6a (step S17). The display unit 33 of the terminal device 6a displays the live image transmitted from the surveillance camera 3 on the display device. The control unit 31 of the terminal device 6a adds a marker to the face image of the passenger A41 shown in the live image displayed on the display device based on the registered face data received in step S17. In addition, the control unit 31 of the terminal device 6a displays the face image of the passenger A41 with the marker and the face image of the registered face data received in step S17 on the display device.

端末装置6aは、サーバ5から送信された一致情報と、表示装置に表示している画像データとを端末装置6bに送信する(ステップS18)。これにより、端末装置6bの表示装置には、端末装置6aと同様の画像が表示される。 The terminal device 6a transmits the matching information transmitted from the server 5 and the image data displayed on the display device to the terminal device 6b (step S18). As a result, an image similar to that of the terminal device 6a is displayed on the display device of the terminal device 6b.

なお、端末装置6a,6bの制御部は、一致情報の受信に応じて、例えば、スピーカ等の音声出力装置からアラーム音を出力してもよい。 The control units of the terminal devices 6a and 6b may output an alarm sound from a voice output device such as a speaker in response to the reception of the matching information.

以上説明したように、サーバ4,5(情報処理装置)は、場所B1a,B1bを撮影するサーモカメラ1a,1bおよび監視カメラ2a,2bから画像データを受信する。また、情報処理装置は、場所B1a,B1bを通過した乗客がその後通過するゲートG1を撮影する監視カメラ3から画像データを受信する。情報処理装置は、サーモカメラ1a,1bの画像データから所定体温以上の乗客を検知し、検知した所定体温以上の乗客の画像データを監視カメラ2a,2bの画像データから抽出し、監視カメラ3の画像データと、抽出した所定体温以上の乗客の画像データとを照合する。これにより、情報処理装置は、空港ターミナルを利用する乗客が大勢いる場合でも、適切に発熱者を検知できる。 As described above, the servers 4 and 5 (information processing devices) receive image data from the thermo cameras 1a and 1b and the monitoring cameras 2a and 2b that photograph the places B1a and B1b. In addition, the information processing device receives image data from the surveillance camera 3 that photographs the gate G1 through which the passengers who have passed the places B1a and B1b pass thereafter. The information processing device detects a passenger having a temperature equal to or higher than a predetermined body temperature from the image data of the thermo cameras 1a and 1b, extracts image data of the detected passenger having a temperature equal to or higher than the predetermined body temperature from the image data of the monitoring cameras 2a and 2b, and detects the passenger. The image data is collated with the extracted image data of passengers having a predetermined body temperature or higher. With this, the information processing apparatus can appropriately detect the heat-generating person even when there are many passengers who use the airport terminal.

また、情報処理装置は、発熱者が飛行機A1a,A1bから大勢降りてきた場合でも、迅速かつ適切に検知できる。 In addition, the information processing apparatus can quickly and appropriately detect even a large number of feverers descending from the airplanes A1a and A1b.

また、端末装置6a,6bは、37度以上の体温の乗客にマーカを付与する。これにより、検疫官の資質に左右されない均一な検疫が可能になる。 In addition, the terminal devices 6a and 6b provide markers to passengers whose body temperature is 37 degrees or higher. This enables uniform quarantine regardless of the quality of the quarantine officer.

(変形例1)
サーバ5の制御部は、サーバ4から顔データを受信すると(図8のステップS13を参照)、受信した顔データと、37度以上の体温の乗客を検知したことを示す体温検知情報とを端末装置6a,6bに送信してもよい。例えば、サーバ5の制御部は、図8のステップS14またはステップ15より前に、顔データと体温検知情報とを端末装置6a,6bに送信してもよい。
(Modification 1)
When the control unit of the server 5 receives the face data from the server 4 (see step S13 of FIG. 8), the control unit of the server 5 receives the received face data and the body temperature detection information indicating that the passenger having the body temperature of 37 degrees or more is detected. It may be transmitted to the devices 6a and 6b. For example, the control unit of the server 5 may transmit the face data and the body temperature detection information to the terminal devices 6a and 6b before step S14 or step 15 in FIG.

端末装置6a,6bは、サーバ5から送信された顔データと体温検知情報とを受信すると、サーバ5から送信された顔データを表示装置に表示してもよい。 Upon receiving the face data and the body temperature detection information transmitted from the server 5, the terminal devices 6a and 6b may display the face data transmitted from the server 5 on the display device.

図9は、端末装置6aの表示装置に表示される画像例を示した図である。図9に示す画像61の領域A51には、監視カメラ3のライブ画像が表示される。 FIG. 9 is a diagram showing an example of an image displayed on the display device of the terminal device 6a. In the area A51 of the image 61 shown in FIG. 9, the live image of the surveillance camera 3 is displayed.

図9に示す画像61の下側の領域A52には、サーバ5から送信される顔データ(図8のステップS14またはステップS15より前に送信される顔データ)の画像62a〜62cが表示される。すなわち、図9の領域A52には、37度以上の体温の乗客が図1の場所B1a,B1bを通過したときに、その乗客の顔の画像62a〜62cが直ちに表示される。 Images 62a to 62c of face data transmitted from the server 5 (face data transmitted before step S14 or step S15 in FIG. 8) are displayed in the area A52 below the image 61 shown in FIG. .. That is, in the area A52 of FIG. 9, when a passenger having a body temperature of 37 degrees or higher passes the places B1a and B1b of FIG. 1, images 62a to 62c of the passenger's face are immediately displayed.

図9の領域A52における右方向は、時間の経過を示している。端末装置6aの制御部31は、サーバ5から顔データを受信した順に、顔データの画像62a〜62cを領域A52の右側から表示する。図9の例の場合、端末装置6aの制御部31は、画像62aの画像データを受信した後に、画像62bの画像データを受信している。端末装置6aの制御部31は、画像62bの画像データを受信した後に、画像62cの画像データを受信している。 The right direction in the area A52 of FIG. 9 indicates the passage of time. The control unit 31 of the terminal device 6a displays the face data images 62a to 62c from the right side of the area A52 in the order in which the face data is received from the server 5. In the case of the example of FIG. 9, the control unit 31 of the terminal device 6a receives the image data of the image 62a and then the image data of the image 62b. The control unit 31 of the terminal device 6a receives the image data of the image 62b and then the image data of the image 62c.

端末装置6aの制御部31は、画像62a〜62cに対応付けて、画像62a〜62cが撮影された撮影時刻を表示装置に表示する。撮影時刻は、画像62a〜62cの顔データとともに、サーバ4から送信される。 The control unit 31 of the terminal device 6a displays the shooting time at which the images 62a to 62c were shot on the display device in association with the images 62a to 62c. The shooting time is transmitted from the server 4 together with the face data of the images 62a to 62c.

このように、サーバ4,5は、場所B1a,B1bにおいて、37度以上の体温の乗客を検知した場合、端末装置6aに37度以上の体温の乗客の顔データと、体温検知情報とを送信する。端末装置6aの制御部31は、空港ターミナルの場所B1a,B1bを通過した、37度以上の体温の乗客の画像62a〜62cを、監視カメラ3のライブ画像より小さい画像で表示する。これにより、端末装置6aを使用する検疫官は、領域A52に表示される画像62a〜62cから、所定時間経過後に、37度以上の体温の乗客がゲートG1に来ることを認識できる。 As described above, when the servers 4 and 5 detect the passengers having the body temperature of 37 degrees or higher in the places B1a and B1b, the server 6 transmits the face data of the passengers having the body temperature of 37 degrees or higher and the body temperature detection information to the terminal device 6a. To do. The control unit 31 of the terminal device 6a displays the images 62a to 62c of the passengers who have passed the locations B1a and B1b of the airport terminal and have a body temperature of 37 degrees or more as images smaller than the live image of the surveillance camera 3. Thereby, the quarantine officer using the terminal device 6a can recognize from the images 62a to 62c displayed in the area A52 that a passenger having a body temperature of 37 degrees or more comes to the gate G1 after a predetermined time has elapsed.

また、端末装置6aの制御部31は、37度以上の体温の乗客の画像62a〜62cを、時系列に並べて表示する。これにより、端末装置6aを使用する検疫官は、領域A52に表示される画像62a〜62cの順番により、ゲートG1に訪れる乗客の順番を認識(推測)できる。 Further, the control unit 31 of the terminal device 6a displays the images 62a to 62c of the passengers having the body temperature of 37 degrees or more in a time series. Thereby, the quarantine officer who uses the terminal device 6a can recognize (estimate) the order of the passengers who visit the gate G1 based on the order of the images 62a to 62c displayed in the area A52.

また、端末装置6aの制御部31は、画像62a〜62cの顔データが撮影された撮影時間を表示装置に表示する。これにより、端末装置6aを使用する検疫官は、画像62a〜62cの顔の乗客の、ゲートG1に訪れる時間を推定できる。 Further, the control unit 31 of the terminal device 6a displays the shooting time at which the face data of the images 62a to 62c were shot on the display device. Thereby, the quarantine officer who uses the terminal device 6a can estimate the time when the passengers whose faces are in the images 62a to 62c visit the gate G1.

なお、画像61の領域A53には、図8のステップS16の顔照合が一致した場合に、マーカが付与された乗客の顔画像と、登録顔データの顔画像とが表示される。例えば、領域A53には、図7Bの画像42a,42bが表示される。 In the area A53 of the image 61, the face image of the passenger to which the marker is added and the face image of the registered face data are displayed when the face matching in step S16 of FIG. 8 is matched. For example, in the area A53, the images 42a and 42b of FIG. 7B are displayed.

また、端末装置6bの表示装置にも、端末装置6aと同様の画面が表示されてもよい。 Further, a screen similar to that of the terminal device 6a may be displayed on the display device of the terminal device 6b.

(変形例2)
上記では、端末装置6aがマーカを付与したが、サーバ5の制御部がマーカを付与してもよい。例えば、サーバ5の通信部は、監視カメラ3のライブ画像データを受信し、端末装置6aに送信する。サーバ5の制御部は、監視カメラ3が切り出した顔画像の顔データと、登録顔データとが一致した場合、監視カメラ3から受信したライブ画像上において、登録顔データの顔画像に一致する顔画像にマーカを付与してもよい。
(Modification 2)
Although the terminal device 6a has provided the marker in the above, the control unit of the server 5 may provide the marker. For example, the communication unit of the server 5 receives the live image data of the surveillance camera 3 and transmits it to the terminal device 6a. When the face data of the face image cut out by the surveillance camera 3 and the registered face data match, the control unit of the server 5 determines the face that matches the face image of the registered face data on the live image received from the surveillance camera 3. A marker may be added to the image.

(変形例3)
上記では、サーバ4が乗客の顔画像を切り出すとしたがこれに限られない。監視カメラ2が乗客の顔画像を切り出し、顔データをサーバ4に送信してもよい。また、監視カメラ3が乗客の顔画像を切り出すとしたがこれに限られない。監視カメラ3は、ゲートG1周辺の画像データをサーバ5に送信し、サーバ5が乗客の顔画像を切り出してもよい。
(Modification 3)
In the above, the server 4 cuts out the face image of the passenger, but the present invention is not limited to this. The surveillance camera 2 may cut out the face image of the passenger and send the face data to the server 4. Further, although the surveillance camera 3 cuts out the face image of the passenger, the present invention is not limited to this. The surveillance camera 3 may transmit the image data around the gate G1 to the server 5, and the server 5 may cut out the face image of the passenger.

(第2の実施の形態)
図1に示した空港ターミナル内の飛行機の到着付近(場所B1a,B1b)と、ゲートG1との間には、1台以上の監視カメラが設置されてもよい。例えば、監視カメラ2aと、監視カメラ3との間には1台以上の監視カメラが設置されてもよい。また、監視カメラ2bと、監視カメラ3との間には1台以上の監視カメラが設置されてもよい。以下では、監視カメラ2aと、監視カメラ3との間に複数の監視カメラが設置される場合について説明する。
(Second embodiment)
One or more surveillance cameras may be installed between the gate G1 and the vicinity of the arrival of the airplane (locations B1a and B1b) in the airport terminal shown in FIG. For example, one or more monitoring cameras may be installed between the monitoring camera 2a and the monitoring camera 3. Further, one or more monitoring cameras may be installed between the monitoring camera 2b and the monitoring camera 3. Below, the case where a plurality of surveillance cameras are installed between the surveillance camera 2a and the surveillance camera 3 will be described.

図10は、第2の実施の形態に係る検疫システムの構成例を示した図である。図10において、図2と同じものには同じ符号が付してある。図10に示す検疫システムは、図2の検疫システムに対し、監視カメラ71,72を有している。 FIG. 10 is a diagram showing a configuration example of the quarantine system according to the second embodiment. 10, the same parts as those in FIG. 2 are designated by the same reference numerals. The quarantine system shown in FIG. 10 has monitoring cameras 71 and 72 in addition to the quarantine system of FIG.

監視カメラ71,72は、空港ターミナルの場所B1aとゲートG1とを結ぶ通路の間に設置される。監視カメラ71は、監視カメラ72より、ゲートG1に近い場所に設置されている。監視カメラ71は、場所B1aとゲートG1とを結ぶ通路のうち、第1の場所を撮影する。監視カメラ72は、場所B1aとゲートG1とを結ぶ通路のうち、第1の場所よりゲートG1に近い第2の場所を撮影する。 The surveillance cameras 71 and 72 are installed between the passages connecting the place B1a of the airport terminal and the gate G1. The surveillance camera 71 is installed closer to the gate G1 than the surveillance camera 72. The surveillance camera 71 captures an image of the first place in the passage connecting the place B1a and the gate G1. The surveillance camera 72 takes an image of a second place closer to the gate G1 than the first place in the passage connecting the place B1a and the gate G1.

監視カメラ71,72は、監視カメラ3と同様の機能を有している。監視カメラ71,72の制御部は、撮影する画像に乗客が含まれる場合、乗客の顔画像を切り出し、切り出した顔画像の顔データをサーバ5に送信する。 The surveillance cameras 71 and 72 have the same function as the surveillance camera 3. When the images to be captured include passengers, the control units of the monitoring cameras 71 and 72 cut out the face images of the passengers and send the face data of the cut-out face images to the server 5.

サーバ5の制御部は、記憶部に記憶した登録顔データと、監視カメラ71から送信される顔データとを照合する。サーバ5の制御部は、記憶部に記憶した登録顔データと、監視カメラ71から送信される顔データとが一致した場合、一致情報と監視カメラ71から送信された顔データとを端末装置6aに送信する。 The control unit of the server 5 collates the registered face data stored in the storage unit with the face data transmitted from the surveillance camera 71. When the registered face data stored in the storage unit and the face data transmitted from the monitoring camera 71 match, the control unit of the server 5 sends the matching information and the face data transmitted from the monitoring camera 71 to the terminal device 6a. Send.

すなわち、サーバ5の制御部は、場所B1aにおいて37度以上の体温と検知された乗客A11が、監視カメラ71の前(第1の場所)を通過すると、一致情報と監視カメラ71が撮影した顔データとを端末装置6aに送信する。 That is, the control unit of the server 5 passes the matching information and the face photographed by the surveillance camera 71 when the passenger A11 whose body temperature is detected to be 37 degrees or higher at the location B1a passes in front of the surveillance camera 71 (first location). And data are transmitted to the terminal device 6a.

サーバ5の制御部は、記憶部に記憶した登録顔データと、監視カメラ72から送信される顔データとを照合する。サーバ5の制御部は、記憶部に記憶した登録顔データと、監視カメラ72から送信される顔データとが一致した場合、一致情報と監視カメラ72から送信された顔データを端末装置6aに送信する。 The control unit of the server 5 collates the registered face data stored in the storage unit with the face data transmitted from the surveillance camera 72. When the registered face data stored in the storage unit matches the face data transmitted from the monitoring camera 72, the control unit of the server 5 transmits the matching information and the face data transmitted from the monitoring camera 72 to the terminal device 6a. To do.

すなわち、サーバ5の制御部は、場所B1aにおいて37度以上の体温と検知された乗客A11が、監視カメラ72の前(第2の場所)を通過すると、一致情報と監視カメラ72が撮影した顔データとを端末装置6aに送信する。 That is, the control unit of the server 5 passes the matching information and the face photographed by the surveillance camera 72 when the passenger A11 detected as having a body temperature of 37 degrees or higher at the location B1a passes in front of the surveillance camera 72 (second location). And data are transmitted to the terminal device 6a.

端末装置6aの制御部31は、サーバ5を経由して、監視カメラ71,72が切り出した顔画像の顔データを受信する。端末装置6aの制御部は、監視カメラ71,72が切り出した顔データの顔画像を表示装置に表示する。 The control unit 31 of the terminal device 6a receives the face data of the face images cut out by the monitoring cameras 71 and 72 via the server 5. The control unit of the terminal device 6a displays the face image of the face data cut out by the monitoring cameras 71 and 72 on the display device.

図11は、端末装置6aの表示装置に表示される画像例を示した図である。図11において、図9と同じものには同じ符号が付してある。 FIG. 11 is a diagram showing an example of an image displayed on the display device of the terminal device 6a. 11, the same parts as those in FIG. 9 are designated by the same reference numerals.

図11に示す画像61の下側の領域A61には、サーバ5から送信される、監視カメラ71が切り出した顔データの画像81a,81bが表示される。すなわち、図11の領域A61には、37度以上の体温の乗客が図10の監視カメラ71の前を通過したときに、その乗客の顔画像である画像81a,81bが表示される。なお、領域A61に示す「A通過」の「A」は、監視カメラ71の設置位置を示し、画像81a,81bの顔画像の乗客が監視カメラ71の前を通過したことを示す。 In a region A61 below the image 61 shown in FIG. 11, images 81a and 81b of face data cut out by the monitoring camera 71, which are transmitted from the server 5, are displayed. That is, in the area A61 of FIG. 11, when a passenger having a body temperature of 37 degrees or more passes in front of the surveillance camera 71 of FIG. 10, images 81a and 81b that are the facial images of the passenger are displayed. Note that “A” in “A passing” shown in the area A61 indicates the installation position of the surveillance camera 71, and indicates that the passenger of the face image of the images 81a and 81b has passed in front of the surveillance camera 71.

図11に示す画像61の下側の領域A62には、サーバ5から送信される、監視カメラ72が切り出した顔データの画像82a,82bが表示される。すなわち、図11の領域A62には、37度以上の体温の乗客が図10の監視カメラ72の前を通過したときに、その乗客の顔画像である画像82a,82bが表示される。なお、領域A62に示す「B通過」の「B」は、監視カメラ72の設置位置を示し、画像82a,82bの顔画像の乗客が監視カメラ72の前を通過したことを示す。 In the area A62 below the image 61 shown in FIG. 11, images 82a and 82b of face data cut out by the monitoring camera 72, which are transmitted from the server 5, are displayed. That is, in the area A62 of FIG. 11, when a passenger having a body temperature of 37 degrees or higher passes in front of the surveillance camera 72 of FIG. 10, images 82a and 82b that are the facial images of the passenger are displayed. In addition, “B” of “B passing” shown in the area A62 indicates the installation position of the monitoring camera 72, and indicates that the passenger of the face image of the images 82a and 82b has passed in front of the monitoring camera 72.

図11に示す領域A61,A62の右方向は、図9で説明した領域A52と同様に、時間の経過を示している。 The rightward direction of the areas A61 and A62 shown in FIG. 11 indicates the passage of time, similarly to the area A52 described in FIG.

また、図11に示す領域A61,A62の配置は、監視カメラ71,72の設置位置に対応している。例えば、図11に示す右方向は、空港ターミナルの場所B1aからゲートG1に向かう方向に対応する。監視カメラ72は、監視カメラ71よりゲートG1の近くに設置されているので、監視カメラ72の切り出し画像を表示する領域A62は、監視カメラ71の切り出し画像を表示する領域A61より右側に表示されている。 The arrangement of the areas A61 and A62 shown in FIG. 11 corresponds to the installation positions of the monitoring cameras 71 and 72. For example, the rightward direction shown in FIG. 11 corresponds to the direction from the airport terminal location B1a toward the gate G1. Since the surveillance camera 72 is installed closer to the gate G1 than the surveillance camera 71, the area A62 displaying the cutout image of the surveillance camera 72 is displayed on the right side of the area A61 displaying the cutout image of the surveillance camera 71. There is.

領域A61,A62に示す時刻は、画像81a,81b,82a,82bが撮影された撮影時刻を示している。 The times shown in the areas A61 and A62 indicate the shooting times at which the images 81a, 81b, 82a, and 82b were taken.

監視カメラ71の前を通過した、37度以上の体温の乗客が、監視カメラ72の前を通過すると(監視カメラ72が送信する顔データを端末装置6aが受信すると)、端末装置6aの制御部31は、領域A61に表示している画像81a,81bを消去する。監視カメラ72の前を通過した、37度以上の体温の乗客が、監視カメラ3の前を通過すると(監視カメラ3が送信する顔データを端末装置6aが受信すると)、端末装置6aの制御部31は、領域A62に表示している画像82a,82bを消去する。 When a passenger having a body temperature of 37 degrees or higher that has passed in front of the surveillance camera 71 passes in front of the surveillance camera 72 (when the terminal device 6a receives the face data transmitted by the surveillance camera 72), the control unit of the terminal device 6a. 31 deletes the images 81a and 81b displayed in the area A61. When a passenger having a body temperature of 37 degrees or higher that has passed in front of the surveillance camera 72 passes in front of the surveillance camera 3 (when the face data transmitted by the surveillance camera 3 is received by the terminal device 6a), the control unit of the terminal device 6a. 31 deletes the images 82a and 82b displayed in the area A62.

このように、サーバ4,5(情報処理装置)は、場所B1aとゲートG1との間に設置された監視カメラ71,72から画像データを受信する。情報処理装置は、監視カメラ71,72の画像データと、サーモカメラ1aおよび監視カメラ2aを用いて抽出した37度以上の体温の乗客の画像データとを照合する。これにより、情報処理装置は、37度以上の体温の乗客が監視カメラ71,72を通過した時期を検知でき、検疫官は、ゲートG1を通過する37度以上の体温の乗客を適切に検知できる。 In this way, the servers 4 and 5 (information processing devices) receive image data from the monitoring cameras 71 and 72 installed between the place B1a and the gate G1. The information processing device collates the image data of the monitoring cameras 71 and 72 with the image data of the passenger having a body temperature of 37 degrees or more extracted by using the thermo camera 1a and the monitoring camera 2a. As a result, the information processing device can detect the time when the passenger having the body temperature of 37 degrees or more passes through the surveillance cameras 71 and 72, and the quarantine officer can appropriately detect the passenger having the body temperature of 37 degrees or more passing through the gate G1. ..

(変形例1)
端末装置6aの制御部31は、監視カメラ71,72から一致情報を受信すると、スピーカ等の音声出力装置からアラーム音を出力してもよい。端末装置6aの制御部31は、監視カメラ71から一致情報を受信したときのアラーム音と、監視カメラ72から一致情報を受信したときのアラーム音とを異なるようにしてもよい。また、端末装置6aの制御部31は、監視カメラ3から一致情報を受信したときのアラーム音を、監視カメラ71,72から一致情報を受信したときのアラーム音と異なるようにしてもよい。これにより、検疫官は、アラーム音の違いによって、37度以上の体温の乗客がどこを通過したかを認識できる。
(Modification 1)
When receiving the matching information from the monitoring cameras 71 and 72, the control unit 31 of the terminal device 6a may output an alarm sound from a voice output device such as a speaker. The control unit 31 of the terminal device 6a may make the alarm sound when the matching information is received from the monitoring camera 71 different from the alarm sound when the matching information is received from the monitoring camera 72. Further, the control unit 31 of the terminal device 6a may set the alarm sound when the matching information is received from the monitoring camera 3 to be different from the alarm sound when the matching information is received from the monitoring cameras 71 and 72. As a result, the quarantine officer can recognize where the passenger having a body temperature of 37 degrees or more has passed due to the difference in the alarm sound.

(変形例2)
端末装置6aの制御部31は、場所B1aにおいて37度以上の体温と検知された乗客の、ゲートG1への到着予定時間を算出(推定)してもよい。例えば、端末装置6aの制御部は、監視カメラ2a,71,72が撮影した顔データの撮影時間と、監視カメラ2a,71,72間の距離とから、乗客の移動速度を算出する。端末装置6aの制御部は、算出した移動速度と、乗客が通過した監視カメラ2a,71,72と監視カメラ3との間の距離とを用いて、乗客のゲートG1への到着予定時間を算出できる。
(Modification 2)
The control unit 31 of the terminal device 6a may calculate (estimate) an estimated arrival time at the gate G1 of a passenger whose body temperature is detected to be 37 degrees or higher at the place B1a. For example, the control unit of the terminal device 6a calculates the moving speed of the passenger from the photographing time of the face data photographed by the surveillance cameras 2a, 71, 72 and the distance between the surveillance cameras 2a, 71, 72. The control unit of the terminal device 6a calculates the estimated arrival time of the passenger at the gate G1 by using the calculated moving speed and the distance between the monitoring cameras 2a, 71, 72 and the monitoring camera 3 which the passenger has passed. it can.

より具体的には、端末装置6aの制御部は、監視カメラ71,72が撮影した顔データの撮影時間と、監視カメラ71,72間の距離とから、乗客の移動速度を算出する。端末装置6aの制御部は、算出した移動速度と、監視カメラ72,3間の距離とから、乗客のゲートG1への到着予定時間を算出する。 More specifically, the control unit of the terminal device 6a calculates the moving speed of the passenger from the photographing time of the face data photographed by the surveillance cameras 71 and 72 and the distance between the surveillance cameras 71 and 72. The control unit of the terminal device 6a calculates the estimated arrival time of the passenger at the gate G1 from the calculated moving speed and the distance between the monitoring cameras 72 and 3.

端末装置6aの制御部は、算出した到着予定時間を表示装置に表示する。これにより、検疫官は、37度以上の体温の乗客の、ゲートG1への到着予定時間を認識できる。なお、到着予定時間は、サーバ5が算出してもよい。 The control unit of the terminal device 6a displays the calculated estimated arrival time on the display device. As a result, the quarantine officer can recognize the estimated arrival time of the passenger having a body temperature of 37 degrees or more at the gate G1. The estimated arrival time may be calculated by the server 5.

(第3の実施の形態)
サーバ4が切り出した顔画像の顔データは、サーバ5の記憶部(または登録DB)に記憶される。サーバ5の記憶部に記憶された登録顔データが、監視カメラ3が切り出した顔データと一定時間経過しても一致しなかった場合、サーバ5は、警報情報を端末装置6a,6bまたは入館システムに通知してもよい。つまり、サーバ5は、サーモカメラ1a,1bによって検知された37度以上の体温の乗客が、一定時間経過してもゲートG1に現れなかった場合、警報情報を端末装置6a,6bまたは入館システムに通知してもよい。
(Third Embodiment)
The face data of the face image cut out by the server 4 is stored in the storage unit (or registration DB) of the server 5. When the registered face data stored in the storage unit of the server 5 does not match the face data cut out by the surveillance camera 3 even after a certain period of time, the server 5 outputs the alarm information to the terminal devices 6a and 6b or the entrance system. May be notified. In other words, the server 5 sends the alarm information to the terminal devices 6a, 6b or the admission system when passengers whose body temperature is 37 degrees or higher detected by the thermo cameras 1a, 1b do not appear at the gate G1 even after a certain period of time. You may notify.

図12は、第3の実施の形態に係る検疫システムの動作例を示したシーケンス図である。図12において、図8と同じものには同じ符号が付してある。図12に示すステップS11a〜ステップS14の処理は、図8で説明したステップS11a〜ステップS14と同様であり、その説明を省略する。 FIG. 12 is a sequence diagram showing an operation example of the quarantine system according to the third embodiment. 12, the same parts as those in FIG. 8 are designated by the same reference numerals. The processes of steps S11a to S14 shown in FIG. 12 are the same as steps S11a to S14 described with reference to FIG. 8, and the description thereof will be omitted.

サーバ5の制御部は、ステップS14にて、顔データを登録DBに記憶する際、登録DBに記憶する顔データに対応付けて、現在時刻(顔データを登録DBに登録した登録時間)を記憶する。また、サーバ5の制御部は、図8で説明したステップS16の顔照合処理において、監視カメラ3の顔データと登録顔データとが一致した場合、登録DBの登録顔データに、一致したことを示す一致フラグを付与する。 When storing the face data in the registration DB in step S14, the control unit of the server 5 stores the current time (the registration time when the face data is registered in the registration DB) in association with the face data stored in the registration DB. To do. Further, when the face data of the monitoring camera 3 and the registered face data match in the face matching process of step S16 described in FIG. 8, the control unit of the server 5 determines that the registered face data in the registration DB matches. The matching flag shown is added.

サーバ5の制御部は、登録DBを参照し、一致フラグが付与されていない登録顔データのうち、登録DBに記憶されてから一定時間経過した登録顔データを検出する。すなわち、サーバ5の制御部は、一定時間、監視カメラ3の顔データと一致しなかった登録顔データを検出する(ステップS21)。つまり、サーバ5の制御部は、37度以上の体温の乗客のうち、一定時間経過しても、ゲートG1に現れなかった乗客を検出する。 The control unit of the server 5 refers to the registration DB, and detects the registered face data which has been stored in the registration DB for a certain period of time among the registered face data to which the match flag is not added. That is, the control unit of the server 5 detects registered face data that does not match the face data of the surveillance camera 3 for a certain period of time (step S21). That is, the control unit of the server 5 detects the passengers who do not appear at the gate G1 even after a certain period of time, out of the passengers whose body temperature is 37 degrees or higher.

サーバ5は、一定時間経過しても、ゲートG1に現れなかった乗客を検出すると、乗客がゲートG1に現れなかったことを示す警報情報と、ゲートG1に現れなかった乗客の顔データとを端末装置6aに送信する(ステップS22)。端末装置6aの制御部31は、サーバ5から受信した顔データの画像を表示装置に表示する。端末装置6aの制御部31は、警報情報の受信に応じて、スピーカ等の音声出力装置からアラーム音を出力してもよい。 When the server 5 detects a passenger who has not appeared at the gate G1 even after a lapse of a certain period of time, the server 5 outputs warning information indicating that the passenger did not appear at the gate G1 and face data of the passenger who did not appear at the gate G1 to the terminal. The data is transmitted to the device 6a (step S22). The control unit 31 of the terminal device 6a displays the image of the face data received from the server 5 on the display device. The control unit 31 of the terminal device 6a may output an alarm sound from a voice output device such as a speaker in response to the reception of the alarm information.

端末装置6aは、サーバ5から送信された警報情報と乗客の顔データとを端末装置6bに送信する(ステップS23)。端末装置6bの制御部は、端末装置6aから受信した顔データの画像を表示装置に表示する。端末装置6bの制御部は、警報情報の受信に応じて、スピーカ等の音声出力装置からアラーム音を出力してもよい。 The terminal device 6a transmits the alarm information and the passenger face data transmitted from the server 5 to the terminal device 6b (step S23). The control unit of the terminal device 6b displays the image of the face data received from the terminal device 6a on the display device. The control unit of the terminal device 6b may output an alarm sound from a voice output device such as a speaker in response to the reception of the alarm information.

なお、図12には示していないが、サーバ5の制御部は、警報情報と、ゲートG1に現れなかった乗客の顔データとを入館システムに送信してもよい。 Although not shown in FIG. 12, the control unit of the server 5 may transmit the alarm information and the face data of the passengers who did not appear in the gate G1 to the entrance system.

このように、サーバ4,5(情報処理装置)は、監視カメラ3の画像データと、抽出した37度温以上の体温の乗客の画像データとが一定時間経過しても一致しなかった場合、警報情報を生成する。これにより、検疫官は、飛行機A1a,A1bを降りた後、ゲートG1に来ていない発熱者を探すことができる。 As described above, the servers 4 and 5 (information processing devices) determine whether the image data of the surveillance camera 3 and the extracted image data of a passenger having a body temperature of 37 degrees Celsius or higher do not match even after a certain period of time, Generate alarm information. As a result, the quarantine officer can search for a fever who has not arrived at the gate G1 after getting off the airplanes A1a and A1b.

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。 Each functional block used in the description of the above embodiment is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include some or all of them. The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.

また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、又は、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。 Further, the method of circuit integration is not limited to LSI, and it may be realized by a dedicated circuit or a general-purpose processor. A field programmable gate array (FPGA) that can be programmed after the LSI is manufactured, or a reconfigurable processor capable of reconfiguring the connection and setting of circuit cells inside the LSI may be used.

さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。 Furthermore, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. The application of biotechnology is possible.

本開示の検疫システムは、サーモカメラを用いて検疫を行う検疫システムに有用である。 INDUSTRIAL APPLICABILITY The quarantine system of the present disclosure is useful for a quarantine system that performs quarantine using a thermo camera.

1a,1b サーモカメラ
2a,2b,3,71,72 監視カメラ
4,5 サーバ
6a,6b 端末装置
11 撮像部
12,21,31 制御部
13,22 通信部
14,23,35 記憶部
32 入力部
33 表示部
34 通信部
A1a,A1b 飛行機
B1a,B1b 場所
1a, 1b Thermo camera 2a, 2b, 3, 71, 72 Surveillance camera 4,5 Server 6a, 6b Terminal device 11 Imaging unit 12, 21, 31 Control unit 13, 22 Communication unit 14, 23, 35 Storage unit 32 Input unit 33 display unit 34 communication unit A1a, A1b airplane B1a, B1b location

Claims (7)

第1の場所を撮影するサーモカメラから第1の画像データを受信し、前記第1の場所を撮影する第1の監視カメラから第2の画像データを受信し、前記第1の場所を通過した人が通過する第2の場所を撮影する第2の監視カメラから第3の画像データを受信する通信部と、
前記第1の画像データから所定体温以上の人を検知し、検知した前記所定体温以上の人の画像データを前記第2の画像データから抽出し、前記第3の画像データと、抽出した前記所定体温以上の人の画像データとを照合する制御部と、
を有する情報処理装置。
The first image data is received from a thermo camera that captures a first location, the second image data is received from a first surveillance camera that captures the first location, and the image passes through the first location. A communication unit that receives third image data from a second surveillance camera that captures a second place where a person passes;
A person having a predetermined body temperature or higher is detected from the first image data, image data of the detected person having a predetermined body temperature or higher is extracted from the second image data, the third image data and the extracted predetermined value are extracted. With a control unit that collates with image data of people above body temperature,
Information processing device having a.
前記サーモカメラおよび前記第1の監視カメラは、同じ画角で前記第1の場所を撮影する、
請求項1に記載の情報処理装置。
The thermo camera and the first surveillance camera photograph the first place at the same angle of view,
The information processing apparatus according to claim 1.
前記制御部は、前記所定体温以上の人の前記サーモカメラの画像上における座標を取得し、前記第1の監視カメラの画像上における前記座標の画像から、前記所定体温以上の人の画像データを抽出する、
請求項2に記載の情報処理装置。
The control unit acquires coordinates of the person having the predetermined body temperature or higher on the image of the thermo camera, and obtains image data of the person having the predetermined body temperature or higher from the image of the coordinates on the image of the first surveillance camera. Extract,
The information processing apparatus according to claim 2.
前記通信部は、前記第1の場所と前記第2の場所との間に設置された第3の監視カメラから第4の画像データを受信し、
前記制御部は、前記第4の画像データと、抽出した前記所定体温以上の人の画像データとを照合する、
請求項1から3のいずれか一項に記載の情報処理装置。
The communication unit receives fourth image data from a third surveillance camera installed between the first location and the second location,
The control unit collates the fourth image data with the extracted image data of a person having a predetermined body temperature or higher.
The information processing apparatus according to any one of claims 1 to 3.
前記制御部は、前記第3の画像データと、抽出した前記所定体温以上の人の画像データとが一定時間経過しても一致しなかった場合、警報情報を生成する、
請求項1から4のいずれか一項に記載の情報処理装置。
The control unit generates alarm information when the third image data and the extracted image data of the person having the predetermined body temperature or higher do not match each other after a certain period of time,
The information processing device according to any one of claims 1 to 4.
前記通信部は、前記第3の画像データと、抽出した前記所定体温以上の人の画像データとが一致したことを示す一致情報と、抽出した前記所定体温以上の人の画像データとを端末装置に送信する、
請求項1から5のいずれか一項に記載の情報処理装置。
The communication unit uses the matching information indicating that the third image data matches the extracted image data of the person having the predetermined body temperature or higher, and the extracted image data of the person having the predetermined body temperature or higher, the terminal device. Send to,
The information processing apparatus according to any one of claims 1 to 5.
第1の場所を撮影するサーモカメラから第1の画像データを受信し、
前記第1の場所を撮影する第1の監視カメラから第2の画像データを受信し、
前記第1の場所を通過した人が通過する第2の場所を撮影する第2の監視カメラから第3の画像データを受信し、
前記第1の画像データから所定体温以上の人を検知し、検知した前記所定体温以上の人の画像データを前記第2の画像データから抽出し、前記第3の画像データと、抽出した前記所定体温以上の人の画像データとを照合する、
照合方法。
The first image data is received from the thermo camera that shoots the first place,
Receiving second image data from a first surveillance camera for photographing the first place,
Receiving third image data from a second surveillance camera for photographing a second place where a person who has passed the first place passes,
A person having a predetermined body temperature or higher is detected from the first image data, image data of the detected person having a predetermined body temperature or higher is extracted from the second image data, the third image data and the extracted predetermined value are extracted. Collate with image data of people above body temperature,
Matching method.
JP2019011313A 2019-01-25 2019-01-25 Information processing device and matching method Active JP7136710B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019011313A JP7136710B2 (en) 2019-01-25 2019-01-25 Information processing device and matching method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019011313A JP7136710B2 (en) 2019-01-25 2019-01-25 Information processing device and matching method

Publications (2)

Publication Number Publication Date
JP2020120323A true JP2020120323A (en) 2020-08-06
JP7136710B2 JP7136710B2 (en) 2022-09-13

Family

ID=71891352

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019011313A Active JP7136710B2 (en) 2019-01-25 2019-01-25 Information processing device and matching method

Country Status (1)

Country Link
JP (1) JP7136710B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022053145A (en) * 2020-09-24 2022-04-05 エヌ・ティ・ティ・コミュニケーションズ株式会社 Febrile person tracking device and method and program
JP7064642B1 (en) 2021-07-14 2022-05-10 日本コンピュータビジョン株式会社 Information processing equipment, information processing methods and information processing programs
WO2022107232A1 (en) * 2020-11-18 2022-05-27 日本電気株式会社 Server device, system, server device control method, and storage medium
WO2022201359A1 (en) * 2021-03-24 2022-09-29 日本電気株式会社 Information processing system, information processing device, information processing method, and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004219277A (en) * 2003-01-15 2004-08-05 Sanyo Electric Co Ltd Method and system, program, and recording medium for detection of human body
JP2007158421A (en) * 2005-11-30 2007-06-21 Matsushita Electric Ind Co Ltd Monitoring camera system and face image tracing recording method
JP5500303B1 (en) * 2013-10-08 2014-05-21 オムロン株式会社 MONITORING SYSTEM, MONITORING METHOD, MONITORING PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM
JP2017054229A (en) * 2015-09-08 2017-03-16 パナソニックIpマネジメント株式会社 Person discrimination system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004219277A (en) * 2003-01-15 2004-08-05 Sanyo Electric Co Ltd Method and system, program, and recording medium for detection of human body
JP2007158421A (en) * 2005-11-30 2007-06-21 Matsushita Electric Ind Co Ltd Monitoring camera system and face image tracing recording method
JP5500303B1 (en) * 2013-10-08 2014-05-21 オムロン株式会社 MONITORING SYSTEM, MONITORING METHOD, MONITORING PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM
JP2017054229A (en) * 2015-09-08 2017-03-16 パナソニックIpマネジメント株式会社 Person discrimination system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022053145A (en) * 2020-09-24 2022-04-05 エヌ・ティ・ティ・コミュニケーションズ株式会社 Febrile person tracking device and method and program
JP7467304B2 (en) 2020-09-24 2024-04-15 エヌ・ティ・ティ・コミュニケーションズ株式会社 Fever tracking device, method and program
WO2022107232A1 (en) * 2020-11-18 2022-05-27 日本電気株式会社 Server device, system, server device control method, and storage medium
WO2022201359A1 (en) * 2021-03-24 2022-09-29 日本電気株式会社 Information processing system, information processing device, information processing method, and storage medium
JP7064642B1 (en) 2021-07-14 2022-05-10 日本コンピュータビジョン株式会社 Information processing equipment, information processing methods and information processing programs
JP2023012574A (en) * 2021-07-14 2023-01-26 日本コンピュータビジョン株式会社 Information processing apparatus, information processing method, and information processing program

Also Published As

Publication number Publication date
JP7136710B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
JP2020120323A (en) Information processing device and collation method
KR102021999B1 (en) Apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner
US20230043342A1 (en) Non-contact temperature measurement in thermal imaging systems and methods
US11295179B2 (en) Sensor fusion for monitoring an object-of-interest in a region
US8705808B2 (en) Combined face and iris recognition system
CN107766788B (en) Information processing apparatus, method thereof, and computer-readable storage medium
WO2018096787A1 (en) Person's behavior monitoring device and person's behavior monitoring system
US11270562B2 (en) Video surveillance system and video surveillance method
JP2010191620A (en) Method and system for detecting suspicious person
US20130293721A1 (en) Imaging apparatus, imaging method, and program
JP6769475B2 (en) Information processing system, management method for authentication, and program
US11450098B2 (en) Firearm detection system and method
US20190147251A1 (en) Information processing apparatus, monitoring system, method, and non-transitory computer-readable storage medium
US20200401814A1 (en) Firearm detection system and method
KR20190099216A (en) RGBD detection based object detection system and method
CN108613672B (en) Object positioning method, object positioning system and electronic equipment
JP2017167800A (en) Monitoring system, information processor, monitoring method, and monitoring program
JP2017054229A (en) Person discrimination system
WO2017104660A1 (en) Device for recording crime scene of shoplifting
WO2022226214A1 (en) Audio event detection in health screening systems and methods
JP6796000B2 (en) Monitoring support device and monitoring system
JP2017017488A (en) Monitoring system, imaging control method, and program
JP7329967B2 (en) IMAGE PROCESSING APPARATUS, SYSTEM, IMAGE PROCESSING APPARATUS CONTROL METHOD, AND PROGRAM
KR102085051B1 (en) Controlling system using drone
JP2021007028A (en) Information processing system, method for managing authentication object, and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190731

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190902

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190910

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191205

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20201224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220901

R150 Certificate of patent or registration of utility model

Ref document number: 7136710

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350