JP2018163682A - Information processing apparatus, method for controlling the same, and program - Google Patents

Information processing apparatus, method for controlling the same, and program Download PDF

Info

Publication number
JP2018163682A
JP2018163682A JP2018108459A JP2018108459A JP2018163682A JP 2018163682 A JP2018163682 A JP 2018163682A JP 2018108459 A JP2018108459 A JP 2018108459A JP 2018108459 A JP2018108459 A JP 2018108459A JP 2018163682 A JP2018163682 A JP 2018163682A
Authority
JP
Japan
Prior art keywords
area
user
information indicating
area information
specified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018108459A
Other languages
Japanese (ja)
Other versions
JP2018163682A5 (en
JP6734546B2 (en
Inventor
翔人 小野
Shoto Ono
翔人 小野
絵里奈 伊藤
Erina Ito
絵里奈 伊藤
諒 飯渕
Ryo Iibuchi
諒 飯渕
加藤 卓也
Takuya Kato
卓也 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2018108459A priority Critical patent/JP6734546B2/en
Publication of JP2018163682A publication Critical patent/JP2018163682A/en
Publication of JP2018163682A5 publication Critical patent/JP2018163682A5/ja
Application granted granted Critical
Publication of JP6734546B2 publication Critical patent/JP6734546B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a mechanism that, even when a user and another user led by the user are continuously determined to be in different areas from each other although the user and the another user led by the user move together, reduces wrong determination that the another user gets lost.SOLUTION: With the use of a result of analysis of image data photographed with a camera connected to a network, when an area where a user is located and an area where another user led by the user is located are determined to be different, and moving paths for the user and the another user are determined to be different, an information processing apparatus controls to notify a notification destination of the fact that the another user gets lost, whereas, even when the area where the user is located and the area where the another user is located are determined to be different, if the moving paths for the user and the another user match each other, controls not to notify the notification destination of the fact that the another user gets lost.SELECTED DRAWING: Figure 5

Description

本発明は、情報処理装置、及びその制御方法、プログラムに関し、特に、ユーザとユーザに引率された他のユーザとがそれぞれ異なるエリアにいると連続して判定された場合でも、他のユーザが迷子になったと誤って判定することを減らすための技術に関するものである。   The present invention relates to an information processing apparatus, a control method thereof, and a program, and in particular, even when it is continuously determined that the user and another user led by the user are in different areas, the other user is lost. The present invention relates to a technique for reducing erroneous determination of having become.

近年、ネットワークカメラを用いて、例えば、親(ユーザ)と子供(ユーザに引率された他のユーザ)がいる施設内で、子供が迷子になったことを検出して通知する仕組みが知られている。   In recent years, using a network camera, for example, in a facility where a parent (user) and a child (another user led by the user) are located, a mechanism for detecting and notifying that a child has been lost has been known. Yes.

特許文献1には、例えば、監視カメラで撮影された引率者の顔と、当該撮影された監視カメラとから特定された引率者がいる現在地と、監視カメラで撮影された子供の顔と、当該撮影された監視カメラとから特定された子供がいる現在地とが一定時間離れた状態であれば、その子供が迷子になったと判断して通知することが開示されている。   In Patent Document 1, for example, the face of the leader taken by the surveillance camera, the current location where the leader identified from the photographed surveillance camera is located, the face of the child photographed by the surveillance camera, It is disclosed that if a current position where a child identified from a photographed surveillance camera is away for a certain period of time, the child is lost and notified.

特開2007−60528号公報JP 2007-60528 A

しかしながら、上記特許文献1で提案されている内容は、親子が一定時間離れていることを検出した場合に、子供が迷子になったと判断するものであるため、例えば、実際は親子が一緒に移動しているが、たまたま、親と子とがそれぞれ異なるエリアにいると連続して認識された場合でも、親子が一定時間離れていると判定されてしまい、子供が迷子になったと誤判定してしまうおそれがある。   However, since the content proposed in Patent Document 1 is to determine that the child is lost when it is detected that the parent and child are separated for a certain period of time, for example, the parent and child actually move together. However, even if it is recognized that the parent and child are in different areas, it is determined that the parent and child are separated by a certain time, and it is erroneously determined that the child has been lost. There is a fear.

そこで、本発明の目的は、ユーザとユーザに引率された他のユーザが一緒に移動しているものの、ユーザとユーザに引率された他のユーザとがそれぞれ異なるエリアにいると連続して判定された場合でも、他のユーザが迷子になったと誤って判定することを減らす仕組みを提供することである。   Therefore, the object of the present invention is to continuously determine that the user and another user led by the user are moving together, but the user and the other user led by the user are in different areas. Even if it happens, it is to provide a mechanism to reduce erroneous determination that other users are lost.

本発明は、ネットワークに接続されたカメラから当該カメラで撮影された画像データを、当該ネットワークを介して受信し、当該画像データを用いて迷子を特定して通知する情報処理装置であって、カメラが設置されているエリアを示すエリア情報をカメラごとに記憶する記憶手段と、各カメラにより継続的に撮影された画像データを当該各カメラから取得する取得手段と、前記取得手段により取得された画像データを解析することにより当該画像データに撮影されたユーザを特定するユーザ特定手段と、前記ユーザ特定手段によりユーザが特定された画像データを前記取得手段により取得したカメラが設置されているエリアを示す前記エリア情報に基づき、前記ユーザ特定手段により特定されたユーザのいるエリアを特定するエリア特定手段と、前記エリア特定手段により特定された、前記ユーザ特定手段により特定されたユーザのいるエリアを示すエリア情報、及び、前記エリア特定手段により特定された、前記ユーザ特定手段により特定された、当該ユーザに引率された他のユーザのいるエリアを示すエリア情報を、当該画像データが前記カメラにより撮影された撮影時間ごとに、それぞれ前記記憶手段に格納する格納手段と、前記エリア特定手段により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なるか否かを判定する判定手段と、前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とに従って、前記エリア特定手段により特定されたエリア情報が前記格納手段により前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記ユーザの移動経路と、前記他のユーザの移動経路とを特定する特定手段と、前記特定手段により特定された、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なるか否かを判定する移動経路判定手段と、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定され、かつ、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なると判定された場合に、前記他のユーザが迷子である旨を通知し、一方、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とが一致する、又は、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定された場合であっても、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが一致すると判定された場合には、前記他のユーザが迷子である旨を通知しないように制御する制御手段と、を備えることを特徴とする情報処理装置。   The present invention is an information processing apparatus that receives image data captured by a camera connected to a network via the network, and identifies and notifies a lost child using the image data. Storage means for storing the area information indicating the area where the camera is installed for each camera, acquisition means for acquiring image data continuously captured by each camera from each camera, and images acquired by the acquisition means This indicates an area in which a user identification unit that identifies a user photographed in the image data by analyzing the data and an area where a camera that acquires the image data identified by the user identification unit by the acquisition unit is installed. Based on the area information, an area specifying method for specifying an area where the user specified by the user specifying means is located. And area information indicating the area where the user specified by the user specifying means is located, and the user specified by the user specifying means specified by the area specifying means The area information indicating the area where the other user is led is stored in the storage unit for each shooting time when the image data was shot by the camera, and specified by the area specifying unit. Area information indicating the area where the user is stored and the area where the other user is stored and stored in the storage means within a predetermined time in the past from the last shooting time stored in the storage means. Determining means for determining whether the information is different from each other; and the user's stored by the storage means The area information specified by the area specifying means is past from the last shooting time stored in the storage means by the storage means according to the area information indicating the area to be stored and the area information indicating the area where the other user is present. The specifying means for specifying the moving path of the user and the moving path of the other user within the predetermined time, the moving path of the user specified by the specifying means, and the moving path of the other user The path information determining means for determining whether or not the area information indicating the area where the user is located and the area information indicating the area where the other user is present are different from each other, and When the movement path determination unit determines that the movement path of the user is different from the movement path of the other user, the other user The user is informed that the user is a lost child, while the determining means matches the area information indicating the area where the user is located with the area information indicating the area where the other user is present, or by the determining means, Even if it is determined that the area information indicating the area where the user is and the area information indicating the area where the other user is different from each other, the movement route determination unit causes the user's movement route, An information processing apparatus comprising: control means for controlling not to notify that the other user is lost when it is determined that the movement route of the other user matches.

また、本発明は、ネットワークに接続されたカメラが設置されているエリアを示すエリア情報をカメラごとに記憶する記憶手段を備え、前記カメラから当該カメラで撮影された画像データを、当該ネットワークを介して受信し、当該画像データを用いて迷子を特定して通知する情報処理装置における制御方法であって、前記情報処理装置の取得手段が、各カメラにより継続的に撮影された画像データを当該各カメラから取得する取得工程と、前記情報処理装置のユーザ特定手段が、前記取得工程により取得された画像データを解析することにより当該画像データに撮影されたユーザを特定するユーザ特定工程と、前記情報処理装置のエリア特定手段が、前記ユーザ特定工程によりユーザが特定された画像データを前記取得工程により取得したカメラが設置されているエリアを示す前記エリア情報に基づき、前記ユーザ特定工程により特定されたユーザのいるエリアを特定するエリア特定工程と、前記情報処理装置の格納手段が、前記エリア特定工程により特定された、前記ユーザ特定工程により特定されたユーザのいるエリアを示すエリア情報、及び、前記エリア特定工程により特定された、前記ユーザ特定工程により特定された、当該ユーザに引率された他のユーザのいるエリアを示すエリア情報を、当該画像データが前記カメラにより撮影された撮影時間ごとに、それぞれ前記記憶手段に格納する格納工程と、前記情報処理装置の判定手段が、前記エリア特定工程により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記格納工程により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なるか否かを判定する判定工程と、前記情報処理装置の特定手段が、前記格納工程により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とに従って、前記エリア特定工程により特定されたエリア情報が前記格納工程により前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記ユーザの移動経路と、前記他のユーザの移動経路とを特定する特定工程と、前記情報処理装置の移動経路判定手段が、前記特定工程により特定された、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なるか否かを判定する移動経路判定工程と、前記情報処理装置の制御手段が、前記判定工程により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定され、かつ、前記移動経路判定工程により、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なると判定された場合に、前記他のユーザが迷子である旨を通知し、一方、前記判定工程により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とが一致する、又は、前記判定工程により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定された場合であっても、前記移動経路判定工程により、前記ユーザの移動経路と、前記他のユーザの移動経路とが一致すると判定された場合には、前記他のユーザが迷子である旨を通知しないように制御する制御工程と、を備えることを特徴とする。   The present invention also includes storage means for storing, for each camera, area information indicating an area where a camera connected to a network is installed, and image data captured by the camera from the camera is transmitted via the network. Control method in an information processing apparatus for identifying and notifying a lost child using the image data, wherein the acquisition means of the information processing apparatus captures image data continuously captured by each camera. An acquisition step of acquiring from a camera, a user specifying step of specifying the user imaged in the image data by analyzing the image data acquired by the user specifying means of the information processing device, and the information The area specifying means of the processing device has acquired the image data specified by the user in the user specifying step by the acquiring step. Based on the area information indicating the area where the camera is installed, the area specifying step for specifying the area where the user specified by the user specifying step is specified, and the storage means of the information processing device is specified by the area specifying step. Area information indicating an area where the user specified by the user specifying process is present, and other users led by the user specified by the user specifying process specified by the area specifying process. The storage step of storing area information indicating the area in which the image data is captured in the storage unit for each shooting time when the image data was shot by the camera and the determination unit of the information processing device are specified by the area specifying step. The area information is stored in the storage means within a predetermined time in the past from the last shooting time. A determination step of determining whether or not the area information indicating the area where the user is stored and the area information indicating the area where the other user is stored are stored in the process, and the specifying unit of the information processing apparatus includes: According to the area information indicating the area where the user is stored and the area information indicating the area where the other user is stored, the area information specified by the area specifying step is stored in the storage means by the storing step. A specifying step of specifying the user's movement path and the other user's movement path within a predetermined past time from the last photographing time stored in the information processing apparatus, and a movement path determination means of the information processing apparatus, A movement path determination step for determining whether or not the movement path of the user specified by the identification process is different from the movement path of the other user. And the control means of the information processing apparatus determines that the area information indicating the area where the user is and the area information indicating the area where the other user is different from each other in the determination step, and the movement route When it is determined by the determination step that the user's travel route is different from the other user's travel route, the user is notified that the other user is lost, while the determination step is The area information indicating the area where the user is present matches the area information indicating the area where the other user is present, or the area information indicating the area where the user is present and the area where the other user is present are indicated by the determination step. Even if it is determined that the area information is different from each other, the movement route determination step performs the movement route of the user and the movement route of the other user. Doo is when it is determined that the match is characterized by and a control step of the other users is controlled not to notify a lost.

また、本発明は、ネットワークに接続されたカメラが設置されているエリアを示すエリア情報をカメラごとに記憶する記憶手段を備え、前記カメラから当該カメラで撮影された画像データを、当該ネットワークを介して受信し、当該画像データを用いて迷子を特定して通知する情報処理装置で読み取り実行可能なプログラムであって、前記情報処理装置を、各カメラにより継続的に撮影された画像データを当該各カメラから取得する取得手段と、前記取得手段により取得された画像データを解析することにより当該画像データに撮影されたユーザを特定するユーザ特定手段と、前記ユーザ特定手段によりユーザが特定された画像データを前記取得手段により取得したカメラが設置されているエリアを示す前記エリア情報に基づき、前記ユーザ特定手段により特定されたユーザのいるエリアを特定するエリア特定手段と、前記エリア特定手段により特定された、前記ユーザ特定手段により特定されたユーザのいるエリアを示すエリア情報、及び、前記エリア特定手段により特定された、前記ユーザ特定手段により特定された、当該ユーザに引率された他のユーザのいるエリアを示すエリア情報を、当該画像データが前記カメラにより撮影された撮影時間ごとに、それぞれ前記記憶手段に格納する格納手段と、前記エリア特定手段により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なるか否かを判定する判定手段と、前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とに従って、前記エリア特定手段により特定されたエリア情報が前記格納手段により前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記ユーザの移動経路と、前記他のユーザの移動経路とを特定する特定手段と、前記特定手段により特定された、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なるか否かを判定する移動経路判定手段と、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定され、かつ、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なると判定された場合に、前記他のユーザが迷子である旨を通知し、一方、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とが一致する、又は、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定された場合であっても、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが一致すると判定された場合には、前記他のユーザが迷子である旨を通知しないように制御する制御手段として機能させることを特徴とする。   The present invention also includes storage means for storing, for each camera, area information indicating an area where a camera connected to a network is installed, and image data captured by the camera from the camera is transmitted via the network. A program that can be read and executed by an information processing apparatus that identifies and notifies a lost child using the image data, and the information processing apparatus receives image data continuously captured by each camera. Acquisition means acquired from a camera, user specifying means for specifying a user photographed in the image data by analyzing image data acquired by the acquisition means, and image data in which a user is specified by the user specifying means On the basis of the area information indicating the area where the camera obtained by the obtaining means is installed. Area specifying means for specifying the area where the user specified by the determining means is specified, area information indicating the area where the user specified by the user specifying means specified by the area specifying means, and the area specifying means The area information that is specified by the user specifying means and that indicates the area where there is another user led by the user is stored for each shooting time when the image data was shot by the camera. An area where the user is stored by the storage unit within a predetermined time in the past from the last shooting time stored in the storage unit, the storage unit storing in the unit, and the area information specified by the area specifying unit Whether the area information indicating the area and the area information indicating the area where the other user exists are different from each other. The area information specified by the area specifying means is determined according to the determination means for determining the area, the area information indicating the area where the user is stored, and the area information indicating the area where the other user is stored. A specifying unit that specifies the movement path of the user and a movement path of the other user within a predetermined time in the past from the last shooting time stored in the storage unit by the storage unit; The movement route determination means for determining whether or not the movement route of the user is different from the movement route of the other user, the determination means, and the area information indicating the area where the user is located and the other It is determined that the area information indicating the area where the user is located is different from each other, and the movement route determination means determines whether the user's movement route is When it is determined that the other user's travel route is different, the other user is notified that he / she is lost, while the determination means uses the area information indicating the area where the user is located and the other When the area information indicating the area where the user is located matches the area information indicating the area where the user is located or the area information indicating the area where the user is located is different from the area information indicating the area where the other user is located Even so, if the moving route determination means determines that the moving route of the user and the moving route of the other user match, the notification that the other user is lost is not given. It is made to function as a control means to control to.

本発明によれば、ユーザとユーザに引率された他のユーザが一緒に移動しているものの、ユーザとユーザに引率された他のユーザとがそれぞれ異なるエリアにいると連続して判定された場合でも、他のユーザが迷子になったと誤って判定することを減らすことができる。   According to the present invention, when it is continuously determined that the user and the other user led by the user are moving together, but the user and the other user led by the user are in different areas. However, it is possible to reduce the erroneous determination that other users are lost.

本発明の実施形態に係る情報処理システムの構成を示す図である。It is a figure which shows the structure of the information processing system which concerns on embodiment of this invention. 図1に示したサーバ101、携帯端末102に適用可能な情報処理装置のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of the information processing apparatus applicable to the server 101 and portable terminal 102 which were shown in FIG. 本発明の実施形態に係るサーバ101が実行する処理を示すフローチャートである。It is a flowchart which shows the process which the server 101 which concerns on embodiment of this invention performs. 図3に示すステップS304で実行される迷子アラート処理の詳細処理を示すフローチャートの一例を示す図である。It is a figure which shows an example of the flowchart which shows the detailed process of the lost child alert process performed by step S304 shown in FIG. 図3に示すステップS304で実行される迷子アラート処理の詳細処理を示すフローチャートの一例を示す図である。It is a figure which shows an example of the flowchart which shows the detailed process of the lost child alert process performed by step S304 shown in FIG. 図3に示すステップS304で実行される出口付近アラート処理の詳細処理を示すフローチャートの一例を示す図である。It is a figure which shows an example of the flowchart which shows the detailed process of the exit vicinity alert process performed by step S304 shown in FIG. 図3に示すステップS304で実行される子供置き去りアラート処理の詳細処理を示すフローチャートの一例を示す図である。It is a figure which shows an example of the flowchart which shows the detailed process of the child leaving alert process performed by step S304 shown in FIG. 管理テーブルの一例を示す図である。It is a figure which shows an example of a management table. 管理テーブルの他の例を示す図である。It is a figure which shows the other example of a management table. サーバ101が通知する通知内容の一例を示す図である。It is a figure which shows an example of the notification content which the server 101 notifies. ネットワークカメラの識別情報と、当該ネットワークカメラが配置されているエリアのエリア名とが対応付けられた対応テーブルの一例を示す図である。It is a figure which shows an example of the corresponding | compatible table with which the identification information of the network camera and the area name of the area where the said network camera is arrange | positioned matched.

以下、図面を参照して、本発明の実施形態を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments to which the invention is applied will be described in detail with reference to the accompanying drawings.

図1は、本発明の実施形態に係る情報処理システムの構成を示す図である。   FIG. 1 is a diagram showing a configuration of an information processing system according to an embodiment of the present invention.

図1に示す101は、サーバであり、有線、又は無線のネットワーク114を介して、各ネットワークカメラ103〜114と相互に通信可能に接続されている。   A server 101 shown in FIG. 1 is connected to each network camera 103 to 114 via a wired or wireless network 114 so as to be able to communicate with each other.

また、サーバ101は、無線のネットワークを介して携帯端末102と相互に通信可能に接続されている。   The server 101 is connected to the mobile terminal 102 through a wireless network so that they can communicate with each other.

サーバ101は、ネットワークに接続されたカメラから当該カメラで撮影された画像データを、当該ネットワークを介して受信し、当該画像データを用いて迷子を特定して通知する情報処理装置の適用例である。   The server 101 is an application example of an information processing apparatus that receives image data captured by a camera connected to a network via the network, and identifies and notifies a lost child using the image data. .

各ネットワークカメラ103〜114は、同一の施設内に設けられており、ネットワーク114に接続可能な撮像装置(カメラ)である。各ネットワークカメラ103〜114は、動画、及び/又は静止画を撮影可能なカメラである。以下、動画、及び/又は静止画を映像とも言う。   Each of the network cameras 103 to 114 is an imaging device (camera) that is provided in the same facility and can be connected to the network 114. Each of the network cameras 103 to 114 is a camera that can capture a moving image and / or a still image. Hereinafter, moving images and / or still images are also referred to as images.

各ネットワークカメラ103〜114は、撮影された映像のデータを、サーバ101に送信する機能を備えている。   Each of the network cameras 103 to 114 has a function of transmitting captured video data to the server 101.

ネットワークカメラ103〜106は、当該施設内のエリアAに設置されたカメラであり、各ネットワークカメラ103〜106は、それぞれ、ネットワークカメラ(個体)を識別するための識別情報をメモリに記憶している。   The network cameras 103 to 106 are cameras installed in the area A in the facility, and each network camera 103 to 106 stores identification information for identifying a network camera (individual) in a memory. .

また、ネットワークカメラ107〜110は、当該施設内のエリアBに設置されたカメラであり、各ネットワークカメラ107〜110は、それぞれ、ネットワークカメラ(個体)を識別するための識別情報をメモリに記憶している。   The network cameras 107 to 110 are cameras installed in the area B in the facility, and each of the network cameras 107 to 110 stores identification information for identifying the network camera (individual) in a memory. ing.

また、ネットワークカメラ111〜114は、当該施設内のエリアCに設置されたカメラであり、各ネットワークカメラ111〜114は、それぞれ、ネットワークカメラ(個体)を識別するための識別情報をメモリに記憶している。エリアCは、出口エリア、又は出口近傍のエリアである。   The network cameras 111 to 114 are cameras installed in the area C in the facility, and each network camera 111 to 114 stores identification information for identifying the network camera (individual) in a memory. ing. Area C is an exit area or an area near the exit.

各ネットワークカメラ103〜114は、被写体として、施設内にいる親115(保護者)、子供117を撮影する。親115(保護者)には、当該親(個人)を識別するための識別情報を示すカラーコードが付されている。たとえば、親115(保護者)の洋服に当該カラーコードのシールが付されている。また、当該親の子供117には、当該子供(個人)を識別するための識別情報を示すカラーコードが付されている。たとえば、子供117の洋服に当該カラーコードのシールが付されている。   Each network camera 103 to 114 photographs a parent 115 (guardian) and a child 117 in the facility as subjects. A color code indicating identification information for identifying the parent (individual) is attached to the parent 115 (guardian). For example, the color code seal is attached to the clothes of the parent 115 (guardian). Further, a color code indicating identification information for identifying the child (individual) is attached to the parent child 117. For example, the color code sticker is attached to the clothes of the child 117.

すなわち、各ネットワークカメラ103〜114は、被写体として、施設内にいる親115(保護者)のカラーコード、子供117のカラーコードを撮影する。   That is, each of the network cameras 103 to 114 captures the color code of the parent 115 (guardian) in the facility and the color code of the child 117 as subjects.

ここでは、個人を識別するためのものとしてカラーコードを用いるようにしたが、カラーコード以外に、バーコードや、個人の顔の画像などを、個人を識別可能なものであれば、何でもよい。
携帯端末102は、親115が所持する携帯端末である。
Here, the color code is used for identifying the individual. However, in addition to the color code, any barcode or personal face image may be used as long as it can identify the individual.
The mobile terminal 102 is a mobile terminal possessed by the parent 115.

図1では、各ネットワークカメラが設置されたエリアが、エリアA〜Cであることを説明したが、エリアA〜C以外に、エリアD〜Zにも、それぞれ同様にネットワークカメラが設けられている。   In FIG. 1, it has been described that the areas where the network cameras are installed are the areas A to C. However, in addition to the areas A to C, network cameras are similarly provided in the areas D to Z, respectively. .

以下、図2を用いて、図1に示したサーバ101、携帯端末102に適用可能な情報処理装置のハードウェア構成について説明する。   Hereinafter, the hardware configuration of the information processing apparatus applicable to the server 101 and the mobile terminal 102 illustrated in FIG. 1 will be described with reference to FIG.

図2は、図1に示したサーバ101、携帯端末102に適用可能な情報処理装置のハードウェア構成を示すブロック図である。   FIG. 2 is a block diagram illustrating a hardware configuration of an information processing apparatus applicable to the server 101 and the mobile terminal 102 illustrated in FIG.

図2において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。また、ROM203あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。   In FIG. 2, reference numeral 201 denotes a CPU that comprehensively controls each device and controller connected to the system bus 204. Further, the ROM 203 or the external memory 211 is necessary to realize a BIOS (Basic Input / Output System) or an operating system program (hereinafter referred to as an OS), which is a control program of the CPU 201, or a function executed by each server or each PC. Various programs to be described later are stored.

202はRAMで、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM203あるいは外部メモリ211からRAM202にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。   A RAM 202 functions as a main memory, work area, and the like for the CPU 201. The CPU 201 implements various operations by loading a program necessary for execution of processing from the ROM 203 or the external memory 211 into the RAM 202 and executing the loaded program.

また、205は入力コントローラで、キーボード(KB)や不図示のマウス等のポインティングデバイス等の入力装置209からの入力を制御する。206はビデオコントローラで、液晶ディスプレイ等のディスプレイ装置210への表示を制御する。なお、210のディスプレイ装置は、タッチパネルになっており、ディスプレイ上の画面を押下されることにより操作することが可能な入力装置としても機能する。   An input controller 205 controls input from an input device 209 such as a keyboard (KB) or a pointing device such as a mouse (not shown). A video controller 206 controls display on a display device 210 such as a liquid crystal display. The display device 210 is a touch panel and functions as an input device that can be operated by pressing a screen on the display.

207はメモリコントローラで、ブートプログラム,各種のアプリケーション,フォントデータ,ユーザファイル,編集ファイル,各種データ等を記憶する外部記憶装置(ハードディスク(HD))や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。   A memory controller 207 is provided in an external storage device (hard disk (HD)), flexible disk (FD), or PCMCIA card slot for storing a boot program, various applications, font data, user files, editing files, various data, and the like. Controls access to an external memory 211 such as a compact flash (registered trademark) memory connected via an adapter.

208は通信I/Fコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。   A communication I / F controller 208 connects and communicates with an external device via a network, and executes communication control processing on the network. For example, communication using TCP / IP is possible.

なお、CPU201は、例えばRAM202内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ装置210上での表示を可能としている。また、CPU201は、ディスプレイ装置210上の不図示のマウスカーソル等でのユーザ指示を可能とする。   Note that the CPU 201 enables display on the display device 210 by executing outline font rasterization processing on a display information area in the RAM 202, for example. Further, the CPU 201 enables a user instruction with a mouse cursor (not shown) on the display device 210.

本発明を実現するための後述する各種プログラムは、外部メモリ211に記録されており、必要に応じてRAM202にロードされることによりCPU201によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ211に格納されており、これらについての詳細な説明も後述する。
<図3の説明>
Various programs to be described later for realizing the present invention are recorded in the external memory 211 and executed by the CPU 201 by being loaded into the RAM 202 as necessary. Furthermore, definition files and various information tables used when executing the program are also stored in the external memory 211, and a detailed description thereof will be described later.
<Description of FIG. 3>

図3は、本発明の実施形態に係るサーバ101が実行する処理を示すフローチャートである。   FIG. 3 is a flowchart showing processing executed by the server 101 according to the embodiment of the present invention.

ステップS301〜S305に示す各ステップの処理は、サーバ101の外部メモリ211に記録されているプログラムによる制御に従ってサーバ101のCPU201が実行する。   The processing of each step shown in steps S301 to S305 is executed by the CPU 201 of the server 101 in accordance with control by a program recorded in the external memory 211 of the server 101.

まず、各ネットワークカメラ(103〜114)は、撮影された映像のデータをサーバ101に逐次送信する。ここでの例は、撮影された映像のデータを、所定時間(例えば1分)間隔で送信する。   First, each network camera (103 to 114) sequentially transmits captured video data to the server 101. In this example, captured video data is transmitted at predetermined time intervals (for example, 1 minute).

また、ここで、各ネットワークカメラは、それぞれ、ネットワークカメラ(個体)を識別するための識別情報をメモリに記憶しているため、各ネットワークカメラは、映像データだけではなく、それぞれメモリに記憶している識別情報をサーバ101に送信する。   Here, since each network camera stores identification information for identifying the network camera (individual) in the memory, each network camera stores not only video data but also each memory. The identification information is transmitted to the server 101.

そして、サーバ101は、各ネットワークカメラから、各ネットワークカメラから映像データと、ネットワークカメラを識別するための識別情報を受信する(S301)。   Then, the server 101 receives video data from each network camera and identification information for identifying the network camera from each network camera (S301).

ここで映像データとは、静止画像データだけではなく、動画データも含まれる。動画データを構成するフレーム画像のデータを、静止画像データと同様に、後述する処理の対象とすることができる。   Here, the video data includes not only still image data but also moving image data. Similarly to the still image data, the frame image data constituting the moving image data can be a target of processing to be described later.

ステップS301は、各カメラにより時間の経過と共に継続的に撮影された画像データ(映像データ)を当該各カメラから順次取得する取得手段の適用例である。   Step S301 is an application example of an acquisition unit that sequentially acquires image data (video data) continuously captured by each camera with the passage of time from each camera.

そして、サーバ101は、S301で受信した映像データを解析して、被写体を識別するための識別情報を取得する(S302)。例えば、サーバ101は、被写体に付されているカラーコードを、当該受信した映像データの中から特定し、当該特定されたカラーコードを読み取り解析することで、被写体を識別するための識別情報(カラーコードのID(個人を識別するための識別情報))を取得する。この識別情報を取得することで撮影されたユーザを特定することができる。   Then, the server 101 analyzes the video data received in S301, and acquires identification information for identifying the subject (S302). For example, the server 101 identifies the color code attached to the subject from the received video data, and reads and analyzes the identified color code, thereby identifying information (color) for identifying the subject. The code ID (identification information for identifying an individual)) is acquired. By acquiring this identification information, the user who has taken the image can be specified.

すなわち、ステップS301は、取得手段により取得された画像データを解析することにより当該画像データに撮影されたユーザを特定するユーザ特定手段の適用例である。   That is, step S301 is an application example of a user specifying unit that specifies a user photographed in the image data by analyzing the image data acquired by the acquiring unit.

次に、サーバ101は、ステップS301で受信したネットワークカメラの識別情報と、図11に示す対応テーブルとに従って、当該ネットワークカメラのエリア(被写体のいるエリア)を特定する。
<図11の説明>
Next, the server 101 specifies the area of the network camera (the area where the subject is located) according to the identification information of the network camera received in step S301 and the correspondence table shown in FIG.
<Description of FIG. 11>

図11は、ネットワークカメラの識別情報と、当該ネットワークカメラが配置されているエリアのエリア名とが対応付けられた対応テーブルの一例を示す図である。   FIG. 11 is a diagram illustrating an example of a correspondence table in which identification information of a network camera is associated with an area name of an area where the network camera is arranged.

図11のテーブルは、カメラが設置されているエリアを示すエリア情報(エリア名)をカメラごとに記憶手段(メモリ)に記憶されている。   In the table of FIG. 11, area information (area name) indicating an area where a camera is installed is stored in a storage unit (memory) for each camera.

図11に示す対応テーブルには、各ネットワークカメラの識別情報(001、002、003、・・・)と、それぞれのネットワークカメラが設置されているエリアのエリア名(エリアA、エリアB、エリアC、・・・)とが、それぞれ紐付けられてメモリに予め登録されている。   The correspondence table shown in FIG. 11 includes identification information (001, 002, 003,...) Of each network camera and area names (area A, area B, area C) where each network camera is installed. ,...) Are associated with each other in advance and registered in the memory.

例えば、ネットワークカメラの識別情報が001のネットワークカメラが設置されているエリアは、エリアAであることを示している。   For example, the area in which the network camera having the network camera identification information 001 is installed is area A.

図3のステップS303では、ステップS301で受信したネットワークカメラの識別情報に対応して対応テーブル(図11)に記憶されているエリア名を取得することにより、当該ネットワークカメラが設置されているエリアを特定する。   In step S303 in FIG. 3, by acquiring the area name stored in the correspondence table (FIG. 11) corresponding to the network camera identification information received in step S301, the area where the network camera is installed is determined. Identify.

すなわち、ステップS303は、ステップS302でユーザが特定された画像データをステップS301で取得したカメラが設置されているエリアを示すエリア情報(図11)に基づき、ステップS302により特定されたユーザのいるエリアを特定するエリア特定手段の適用例である。   That is, in step S303, based on the area information (FIG. 11) indicating the area where the camera acquired in step S301 is the image data specified in step S302, the area in which the user is specified in step S302. This is an application example of the area specifying means for specifying.

そして、サーバ101は、ここで特定されたエリアのエリア名と、ステップS302で取得した、被写体を識別するための識別情報(カラーコードのID(個人を識別するための識別情報))と、現在時刻(現在の時間)とをそれぞれ紐付けて、図8、又は図9に示す管理テーブルに登録する(S303)。   The server 101 then identifies the area name of the area identified here, identification information for identifying the subject (color code ID (identification information for identifying an individual)) acquired in step S302, Each time (current time) is associated and registered in the management table shown in FIG. 8 or FIG. 9 (S303).

ステップS303は、ステップS303により特定された、ステップS302により特定されたユーザ(親)のいるエリアを示すエリア情報、及び、ステップS303により特定された、ステップS302により特定された、当該ユーザに引率された他のユーザ(子供)のいるエリアを示すエリア情報を、当該画像データが前記カメラにより撮影された撮影時間ごとに、それぞれメモリ(記憶手段)に格納する格納手段の適用例である。
<図8、9の説明>
図8は、管理テーブルの一例を示す図である。
また、図9は、管理テーブルの他の例を示す図である。
In step S303, the area information indicating the area where the user (parent) specified in step S302 is specified, and the user specified in step S302 specified in step S303 are led by the user. This is an application example of storage means for storing area information indicating an area where another user (child) is present in each memory (storage means) for each shooting time when the image data was shot by the camera.
<Description of FIGS. 8 and 9>
FIG. 8 is a diagram illustrating an example of the management table.
FIG. 9 is a diagram illustrating another example of the management table.

図8、及び図9に示す管理テーブルは、「ID」、「家族ID」、「保護者フラグ」、「通知先」、「時間」の項目が紐付けられて構成されている。   The management tables shown in FIGS. 8 and 9 are configured by associating items of “ID”, “family ID”, “guardian flag”, “notification destination”, and “time”.

「ID」は、被写体を識別するための識別情報(カラーコードのID)(例えば100)である。   “ID” is identification information (color code ID) (for example, 100) for identifying the subject.

「家族ID」は、家族などのグループを識別するためのID(たとえば1)である。ここで同一の値が格納されている被写体(人)は、それぞれ同一の家族(グループ)であることを示している。 “Family ID” is an ID (for example, 1) for identifying a group such as a family. Here, subjects (persons) in which the same value is stored indicate that they are the same family (group).

「保護者フラグ」は、保護者であるか否かを示すフラグである。ここで、「1」は保護者であることを示し、「0」は保護者ではない者(例えば子供)であることを示している。   The “guardian flag” is a flag indicating whether or not the person is a guardian. Here, “1” indicates that the person is a guardian, and “0” indicates that the person is not a guardian (for example, a child).

「通知先」は、通知先の情報が格納される。ここで通知先とは、例として、保護者の携帯端末102に配信可能な電子メールのメールアドレス(たとえば、aaa@a.ne.jp)が格納されている。   “Notification destination” stores information of a notification destination. Here, as the notification destination, for example, an e-mail address (for example, aaa@a.ne.jp) that can be distributed to the guardian's portable terminal 102 is stored.

「時間」の項目には、所定時間(例えば1分)ごとの時間(・・・、「10:55」、「10:56」、「10:57」、「10:58」、「10:59」、「11:00」(現在時刻))が項目として設けられており、それぞれの時間に、「ID」(たとえば100)で識別される被写体がいたエリアのエリア名が、それぞれ格納されている。   In the item of “time”, time (..., “10:55”, “10:56”, “10:57”, “10:58”, “10: 59 ”,“ 11:00 ”(current time)) are provided as items, and at each time, the area name of the area where the subject identified by“ ID ”(for example, 100) was stored is stored. Yes.

図8の「ID」が100の被写体(人)を例に説明すると、図8は、「ID」が100の被写体(人)が、「ID」が101の被写体(人)と同一の家族(グループ)であり、保護者であること(「ID」が101の被写体(人)は保護者ではない(子供))、通知先がaaa@a.ne.jpであること、「10:55」にエリアFにいたこと、「10:56」にエリアEにいたこと、「10:57」にエリアDにいたこと、「10:58」にエリアCにいたこと、「10:59」にエリアBにいたこと、「11:00」(現在時刻)にエリアAにいたことを示している。   The subject (person) whose “ID” is 100 in FIG. 8 will be described as an example. In FIG. 8, the subject (person) whose “ID” is 100 is the same family (person) as the subject (person) whose “ID” is 101. Group) and a guardian (a subject (person) whose ID is 101 is not a guardian (child)), and a notification destination is aaa @ a. ne. jp, “10:55” in area F, “10:56” in area E, “10:57” in area D, “10:58” in area C It indicates that the user was in Area B at “10:59”, and was in Area A at “11:00” (current time).

図8、又は図9に示す「ID」、「家族ID」、「保護者フラグ」、「通知先」、「時間」は、予め登録されており、ステップS303では、ステップS302で取得した「ID」(被写体を識別するための識別情報(カラーコードのID)と、現在時刻(現在の時間)とが紐付いた欄に、ステップS303で特定されたエリアのエリア名が登録される。   The “ID”, “family ID”, “guardian flag”, “notification destination”, and “time” shown in FIG. 8 or FIG. 9 are registered in advance, and in step S303, the “ID” acquired in step S302. "(Area name of the area identified in step S303 is registered in a column in which identification information (color code ID) for identifying a subject is associated with the current time (current time)).

このようにして、サーバ101は、図8、又は図9に示す管理テーブルを所定期間(例えば1分)ごとに更新して登録することで、図8、又は図9に示す管理テーブルを生成する。   In this manner, the server 101 generates the management table shown in FIG. 8 or 9 by updating and registering the management table shown in FIG. 8 or 9 every predetermined period (for example, 1 minute). .

次に、サーバ101は、図4に示す迷子アラート処理、又は図5に示す迷子アラート処理を実行する(ステップS304)。更に、サーバ101は、ステップS304において、図6に示す出口付近アラート処理、及び図7に示す子供置き去りアラート処理を並行して処理する。   Next, the server 101 executes the lost child alert process shown in FIG. 4 or the lost child alert process shown in FIG. 5 (step S304). Further, in step S304, the server 101 processes the exit vicinity alert process shown in FIG. 6 and the child leaving alert process shown in FIG. 7 in parallel.

すなわち、サーバ101は、図4に示す迷子アラート処理、又は図5に示す迷子アラート処理、図6に示す出口付近アラート処理、及び図7に示す子供置き去りアラート処理を並行して処理する。   That is, the server 101 processes the lost child alert process shown in FIG. 4 or the lost child alert process shown in FIG. 5, the exit vicinity alert process shown in FIG. 6, and the child leaving alert process shown in FIG.

そして、サーバ101は、ステップS304の処理を実行すると、管理者(ユーザ)により終了の指示を受け付けた否かを判定し、終了指示を受け付けたと判定した場合には(YES)、処理を終了し、終了指示を受け付けていないと判定された場合には(NO)、処理をステップS301に戻す。
<図4の説明>
When the server 101 executes the process of step S304, the server 101 determines whether or not an administrator (user) has received an end instruction. If the server 101 determines that an end instruction has been received (YES), the server 101 ends the process. If it is determined that the end instruction has not been received (NO), the process returns to step S301.
<Description of FIG. 4>

次に、図4を用いて、図3に示すステップS304で実行される迷子アラート処理の詳細処理について説明する。   Next, detailed processing of the lost child alert processing executed in step S304 shown in FIG. 3 will be described with reference to FIG.

図4は、図3に示すステップS304で実行される迷子アラート処理の詳細処理を示すフローチャートの一例を示す図である。   FIG. 4 is a diagram illustrating an example of a detailed process of the lost child alert process executed in step S304 illustrated in FIG.

ステップS401〜S404に示す各ステップの処理は、サーバ101の外部メモリ211に記録されているプログラムによる制御に従ってサーバ101のCPU201が実行する。
図4に示すフローチャートは、同一の家族IDごとに繰り返し実行する。
The processing of each step shown in steps S401 to S404 is executed by the CPU 201 of the server 101 in accordance with control by a program recorded in the external memory 211 of the server 101.
The flowchart shown in FIG. 4 is repeatedly executed for each identical family ID.

まず、サーバ101は、管理テーブル(図8、又は図9)の上部の先頭レコードから順番に、同一の家族IDごとに、図4に示す処理を実行する。   First, the server 101 executes the process shown in FIG. 4 for each identical family ID in order from the top record at the top of the management table (FIG. 8 or FIG. 9).

まず、サーバ101は、管理テーブル(図8又は図9)から、家族IDが同一のレコードのうち、「ID」、「家族ID」、「保護者フラグ」、「通知先」の各データと、現在時刻のエリア名と、現在時刻から所定時間分(ここでは例えば6秒分)のエリア名とを取得する(ステップS401)。
例えば、「家族ID」が1のレコードを例に説明する。
First, the server 101 stores, from the management table (FIG. 8 or FIG. 9), data “ID”, “family ID”, “guardian flag”, “notification destination” among records having the same family ID, The area name of the current time and the area name for a predetermined time (for example, 6 seconds here) from the current time are acquired (step S401).
For example, a record in which “family ID” is 1 is described as an example.

ステップS401では、「ID」が100と101のレコードのうち、「ID」が100の情報(「ID」が100、「家族ID」が1、「保護者フラグ」が1、「通知先」がaaa@a.ne.jp、「10:55」のときにいたエリア:エリアF、「10:56」のときにいたエリア:エリアE、「10:57」のときにいたエリア:エリアD、「10:58」のときにいたエリア:エリアC、「10:59」のときにいたエリア:エリアB、「11:00」のときにいたエリア:エリアA)と、「ID」が101の情報(「ID」が101、「家族ID」が1、「保護者フラグ」が0、「通知先」はNULL、「10:55」のときにいたエリア:エリアF、「10:56」のときにいたエリア:エリアE、「10:57」のときにいたエリア:エリアD、「10:58」のときにいたエリア:エリアC、「10:59」のときにいたエリア:エリアB、「11:00」のエリアB)と、を取得する。   In step S401, among the records with “ID” of 100 and 101, information with “ID” of 100 (“ID” is 100, “family ID” is 1, “guardian flag” is 1, and “notification destination” is “notification”). aaa@a.ne.jp, area when "10:55": Area F, area when "10:56": Area E, area when "10:57": Area D, "10:58" area: Area C, "10:59" area: Area B, "11:00" area: Area A), and "ID" is 101 Information (“ID” is 101, “family ID” is 1, “guardian flag” is 0, “notification destination” is NULL, “10:55” area: area F, “10:56” When we were: Area E, “10:57” Area: acquisition area B, and area B) of "11:00", a: area D, the area was in when the "10:58": area C, the area was in when the "10:59".

そして、サーバ101は、ステップS401で取得した親子の現在時刻のエリア名に従って、現在の親子がいるエリアが異なるか否かを判定する(S402)。   Then, the server 101 determines whether or not the area where the current parent and child are located is different according to the area name of the current time of the parent and child acquired in step S401 (S402).

例えば、保護者フラグが1と設定されている現在時刻(11:00)のエリア名と、保護者フラグが0と設定されている現在時刻(11:00)のエリア名を比較して、同一であれば、親子が同じエリアにいると判定し(NO)、一方、同一でなければ、親子が同じエリアにいない(現在の親子がいるエリアが異なる)と判定する(YES)。   For example, the area name at the current time (11:00) where the guardian flag is set to 1 is compared with the area name at the current time (11:00) where the guardian flag is set to 0, and the same If it is, it is determined that the parent and child are in the same area (NO). On the other hand, if they are not the same, it is determined that the parent and child are not in the same area (the area where the current parent and child are present is different) (YES).

サーバ101は、ステップS402において、親子が同じエリアにいると判定された場合(NO)には、処理をステップS305に移行し、親子が異なるエリアにいると判定された場合(YES)には、処理をステップS403に移行する。   If the server 101 determines in step S402 that the parent and child are in the same area (NO), the server 101 proceeds to step S305, and if it is determined that the parent and child are in different areas (YES), The process proceeds to step S403.

そして、サーバ101は、ステップS401で取得した、現在時刻から所定時間分(ここでは例えば6秒分)の親子のエリア名のうち、直近の過去の所定期間(たとえば2秒)分の親子のいるエリアが異なるかを判定する(ステップS403)。   Then, the server 101 has parents and children for the most recent predetermined period (for example, 2 seconds) among the area names of the parent and child for a predetermined time (for example, 6 seconds here) from the current time acquired in step S401. It is determined whether the areas are different (step S403).

例えば、ステップS403において、保護者フラグが1と設定されている時刻(10:58)のエリア名と、保護者フラグが0と設定されている時刻(10:58)のエリア名とが一致しており、かつ、保護者フラグが1と設定されている時刻(10:59)のエリア名と、保護者フラグが0と設定されている時刻(10:59)のエリア名とが一致しているか、を判定する。   For example, in step S403, the area name at the time (10:58) when the guardian flag is set to 1 matches the area name at the time (10:58) when the guardian flag is set to 0. And the area name at the time (10:59) at which the guardian flag is set to 1 matches the area name at the time (10:59) at which the guardian flag is set to 0. It is determined whether or not.

サーバ101は、保護者フラグが1と設定されている時刻(10:58)のエリア名と、保護者フラグが0と設定されている時刻(10:58)のエリア名とが一致しており、かつ、保護者フラグが1と設定されている時刻(10:59)のエリア名と、保護者フラグが0と設定されている時刻(10:59)のエリア名とが一致していると判定された場合には、直近の過去の所定期間(たとえば2秒)の親子のいるエリアが異ならない(親子のいるエリアが同じ)(NO)と判定し、一方、保護者フラグが1と設定されている時刻(10:58)のエリア名と、保護者フラグが0と設定されている時刻(10:58)のエリア名とが一致していない、又は、保護者フラグが1と設定されている時刻(10:59)のエリア名と、保護者フラグが0と設定されている時刻(10:59)のエリア名とが一致していないと判定された場合には、直近の過去の所定期間(たとえば2秒)の親子のいるエリアが異なる(YES)と判定する。   In the server 101, the area name at the time (10:58) when the guardian flag is set to 1 matches the area name at the time (10:58) when the guardian flag is set to 0. And the area name at the time (10:59) when the guardian flag is set to 1 matches the area name at the time (10:59) when the guardian flag is set to 0. If it is determined, it is determined that the area where the parent and child are in the last predetermined period (for example, 2 seconds) is not different (the area where the parent and child are the same) (NO), while the guardian flag is set to 1. The area name at the current time (10:58) does not match the area name at the time (10:58) when the guardian flag is set to 0, or the guardian flag is set to 1 Area name (10:59) If it is determined that the area name at the time (10:59) at which 0 is set to 0 does not match, the area where the parent and child are in the latest past predetermined period (for example, 2 seconds) is different (YES) ).

ステップS402、ステップS403は、ステップS303(エリア特定手段)により特定されたエリア情報がメモリ(記憶手段)に格納された最後の撮影時間(例えば、図8の11:00(現在))から過去の所定時間内における、ステップS303(格納手段)により格納された親(ユーザ)のいるエリアを示すエリア情報(エリア名)と、子供(他のユーザ)のいるエリアを示すエリア情報(エリア名)とがそれぞれ異なるか否かを判定する判定手段の適用例である。   Steps S402 and S403 are the past from the last shooting time (for example, 11:00 (current) in FIG. 8) when the area information specified in step S303 (area specifying means) is stored in the memory (storage means). Area information (area name) indicating the area where the parent (user) is stored and area information (area name) indicating the area where the child (other user) is stored in step S303 (storage means) within the predetermined time It is an application example of the determination means which determines whether each is different.

サーバ101は、ステップS403で、直近の過去の所定期間(たとえば2秒)の親子のエリアが異なる(YES)と判定された場合には、子供が迷子である旨を、同一家族IDで保護者フラグが1が設定されている通知先(例えば、aaa@a.ne.jp)に通知する。
ここで通知される内容の例を、図10の1001に示す。
If it is determined in step S403 that the parent and child areas of the most recent past predetermined period (for example, 2 seconds) are different (YES), the server 101 indicates that the child is lost with the same family ID. Notification is made to a notification destination (for example, aaa@a.ne.jp) whose flag is set to 1.
An example of the content notified here is shown at 1001 in FIG.

例えば、図8の家族IDが1の場合、保護者(親)(保護者フラグが1)と子供(保護者フラグが0)の移動経路が、10:55から10:59までは同じであるが、11:00では、親子のいるエリアが異なる。   For example, when the family ID in FIG. 8 is 1, the travel route of the parent (parent) (guardian flag is 1) and the child (guardian flag is 0) is the same from 10:55 to 10:59. However, at 11:00, the area where the parent and child are located is different.

このように現在の時刻で親と子のいるエリアが異なる場合であっても、現在時刻から直近の所定期間内は、親と子がいるエリアが同じであるため、S403でNOと判定され、親に子供が迷子である通知が行われない。   Thus, even if the area where the parent and the child are different at the current time, the area where the parent and the child are the same within the predetermined period immediately after the current time is determined as NO in S403, The parent is not notified that the child is lost.

それゆえ、例えば、管理テーブルの更新のタイミングで、たまたま、親が子供とは異なるエリアに移動した場合であっても、迷子であるとの誤判定することを低減させることが可能となる。   Therefore, for example, even when the parent moves to an area different from that of the child at the update timing of the management table, it is possible to reduce erroneous determination that the child is lost.

このように、図4に示す処理を行うことにより、例えば、障害物によりカラーコードを一時的に認識出来なかった場合や、親子が一緒に移動しているが、たまたま、親と子とがそれぞれ異なるエリアにいると認識された場合であっても、迷子の誤判定を減らすことができる。   In this way, by performing the processing shown in FIG. 4, for example, when the color code cannot be recognized temporarily due to an obstacle, or when the parent and child are moving together, Even if it is recognized that the user is in a different area, the misjudgment of the lost child can be reduced.

また、例えば、図8の家族ID4の場合のように、現在、たまたま、カラーコードが障害物等により撮像できず、親又は子のいるエリアが認識できなかった場合(現在いるエリアがNULLの場合)であっても、親に子供が迷子である通知を行わないため、迷子であるとの誤判定することを低減させることが可能となる。   Also, for example, as in the case of family ID 4 in FIG. 8, when the color code cannot be captured due to an obstacle or the like and the area where the parent or child is present cannot be recognized (when the current area is NULL) ), It is possible to reduce erroneous determination that the child is lost because the child is not notified that the child is lost.

このように、図8に示す管理テーブルを例に、図4に示す迷子アラート処理を実行した場合、家族IDが1、4については、親に子供が迷子である通知を行わないが、家族IDが2、3の場合については、親に子供が迷子である通知を行うこととなる。   Thus, taking the management table shown in FIG. 8 as an example, when the lost child alert process shown in FIG. 4 is executed, for the family IDs 1 and 4, the parent is not notified that the child is lost, but the family ID In the case of 2 or 3, the parent is notified that the child is lost.

ただ、子供の歩く速度が親の歩く速度よりも遅く、たまたま、子供がいるエリアよりも先のエリアに親がいた場合、図8に示す管理テーブルの家族IDが2の場合のように、親子のエリアが検出されてしまうことがある。   However, if the walking speed of the child is slower than the walking speed of the parent, and if the parent happens to be in an area ahead of the area where the child is, the parent / child is as in the case where the family ID in the management table shown in FIG. May be detected.

すなわち、図4の処理の場合、親子の経路は同一であるが、各時刻の親子のいるエリアが異なる場合でも、親に子供が迷子である通知を行うこととなる。このような誤判定を低減させるための仕組みを、図5を用いて、後で説明する。
<図10の説明>
図10は、サーバ101が通知する通知内容の一例を示す図である。
That is, in the case of the process of FIG. 4, the parent / child route is the same, but even when the parent / child area at each time is different, the parent is notified that the child is lost. A mechanism for reducing such erroneous determination will be described later with reference to FIG.
<Description of FIG. 10>
FIG. 10 is a diagram illustrating an example of notification contents notified by the server 101.

図10の1001では、子供が迷子である旨と共に、子供が現在撮影されたネットワークカメラの位置を、子供がいる現在地として通知する。   At 1001 in FIG. 10, the child is lost and the position of the network camera where the child is currently photographed is notified as the current location where the child is.

また、サーバ101は、ステップS403で、直近の過去の所定期間(たとえば2秒)の親子のエリアが一致していると判定された場合には(NO)、処理ステップS305に移行する。   If the server 101 determines in step S403 that the parent and child areas of the most recent past predetermined period (for example, 2 seconds) match (NO), the server 101 proceeds to processing step S305.

サーバ101は、図4に示す迷子アラート処理の代わりに、図5に示す迷子アラート処理を実行することもできる。
<図5の説明>
The server 101 can also execute the lost child alert process shown in FIG. 5 instead of the lost child alert process shown in FIG.
<Description of FIG. 5>

次に、図5を用いて、図3に示すステップS304で実行される迷子アラート処理の詳細処理について説明する。   Next, detailed processing of the lost child alert processing executed in step S304 shown in FIG. 3 will be described with reference to FIG.

図5は、図3に示すステップS304で実行される迷子アラート処理の詳細処理を示すフローチャートの一例を示す図である。   FIG. 5 is a diagram illustrating an example of a detailed process of the lost child alert process executed in step S304 illustrated in FIG.

図5に示すステップS401〜S404、S405、S406に示す各ステップの処理は、サーバ101の外部メモリ211に記録されているプログラムによる制御に従ってサーバ101のCPU201が実行する。
図5に示すフローチャートは、同一の家族IDごとに繰り返し実行する。
The processing of each step shown in steps S401 to S404, S405, and S406 shown in FIG. 5 is executed by the CPU 201 of the server 101 according to control by a program recorded in the external memory 211 of the server 101.
The flowchart shown in FIG. 5 is repeatedly executed for each identical family ID.

まず、サーバ101は、管理テーブル(図8、又は図9)の上部の先頭レコードから順番に、同一の家族IDごとに、図5に示す処理を実行する。
図5では、図4と同じ処理を行うステップについては、同一の符号を付している。
そのため、図5では、図4と異なる処理についてのみ説明する。
First, the server 101 executes the process shown in FIG. 5 for each identical family ID in order from the top record at the top of the management table (FIG. 8 or FIG. 9).
In FIG. 5, steps that perform the same processing as in FIG.
Therefore, in FIG. 5, only processing different from that in FIG. 4 will be described.

図5に示すフローチャートは、図4のフローチャートに、ステップS405とステップS406が追加されている点のみが異なる。   The flowchart shown in FIG. 5 is different from the flowchart shown in FIG. 4 only in that step S405 and step S406 are added.

サーバ101は、ステップS403において、直近の過去の所定期間(たとえば2秒)の親子のいるエリアが異なると判定された場合(ステップS403:YES)、ステップS401で取得された、親子の各時間にいたエリア名から、親子それぞれの所定時間(例えば5秒)分の移動経路を特定する(ステップS405)。   If the server 101 determines in step S403 that the parent and child areas in the most recent predetermined period (for example, 2 seconds) are different (step S403: YES), the server 101 obtains each time of the parent and child acquired in step S401. From the area name, the movement path for a predetermined time (for example, 5 seconds) of each parent and child is specified (step S405).

ステップS405は、ステップS303(格納手段)により格納された親(ユーザ)のいるエリアを示すエリア情報(エリア名)と、子供(他のユーザ)のいるエリアを示すエリア情報(エリア名)と(図8、又は図9)に従って、ステップS303(エリア特定手段)により特定されたエリア情報(エリア名)がステップS304(格納手段)によりメモリ(記憶手段)に格納された最後の撮影時間(例えば図8の11:00(現在))から過去の所定時間内における、親(ユーザ)の移動経路と、子供(他のユーザ)の移動経路とを特定する特定手段の適用例である。
ここで、ステップS405の具体例について、説明する。
In step S405, area information (area name) indicating the area where the parent (user) is stored, area information (area name) indicating the area where the child (other user) is stored, stored in step S303 (storage means) ( 8 or 9), the last shooting time (for example, FIG. 8) in which the area information (area name) specified by step S303 (area specifying means) is stored in the memory (storage means) by step S304 (storage means). 8: 11:00 (current)) within a predetermined time in the past, this is an application example of specifying means for specifying the movement route of the parent (user) and the movement route of the child (other users).
Here, a specific example of step S405 will be described.

例えば、図8に示す家族IDが2のレコード(カラーコードのIDが102のレコードと、カラーコードのIDが103のレコード)をステップS401で取得して処理対象としている場合、カラーコードのIDが102の被写体(人)は、エリアF(10:56)、エリアE(10:57)、エリアD(10:58)、エリアC(10:59)、エリアB(11:00)の移動経路でエリアを移動しており、カラーコードのIDが103の被写体(人)は、エリアF(10:55)、エリアE(10:56)、エリアD(10:57)、エリアC(10:58)、エリアB(10:59)の移動経路でエリアを移動している。すなわち、1分ずれて、カラーコードのIDが102の被写体(人:親)と、カラーコードのIDが103の被写体(人:子)が同じ移動経路で移動している。   For example, when the record having the family ID 2 shown in FIG. 8 (the record with the color code ID 102 and the record with the color code ID 103) is acquired in step S401 and is the processing target, the color code ID is The subject (person) of 102 moves in the area F (10:56), area E (10:57), area D (10:58), area C (10:59), and area B (11:00). The subject (person) whose color code ID is 103 is area F (10:55), area E (10:56), area D (10:57), and area C (10: 58), the area is moved along the movement route of area B (10:59). That is, a subject (person: parent) with a color code ID of 102 and a subject (person: child) with a color code ID of 103 are moving on the same movement path with a shift of one minute.

このように、ステップS405では、ステップS401で取得された、親子の各時間にいたエリア名から、親子それぞれの所定時間(例えば5秒)分の移動経路を特定することができる。   As described above, in step S405, it is possible to specify a movement path for a predetermined time (for example, 5 seconds) of each parent and child from the area name obtained at each time of the parent and child acquired in step S401.

次に、サーバ101は、ステップS405で特定された、親子の所定時間(たとえば5秒)分の移動経路が異なるか否かを判定し(ステップS406)、異なると判定された場合には(YES)、子供が迷子である旨を通知する(ステップS404)。一方、親子の所定時間(たとえば5秒)分の移動経路が同じと判定された場合には(NO)、子供が迷子である旨を通知することなく、処理をステップS305に移行する。ステップS404は、図4のステップS404と同じ処理であるため、ここでは説明を省略する。   Next, the server 101 determines whether or not the movement paths for a predetermined time (for example, 5 seconds) of the parent and child specified in step S405 are different (step S406). If it is determined that they are different (YES) ) To notify that the child is lost (step S404). On the other hand, when it is determined that the movement paths for a predetermined time (for example, 5 seconds) of the parent and child are the same (NO), the process proceeds to step S305 without notifying that the child is lost. Since step S404 is the same process as step S404 in FIG. 4, the description thereof is omitted here.

ステップS406は、ステップS405(特定手段)により特定された親(ユーザ)の移動経路と、子供(他のユーザ)の移動経路とが異なるか否かを判定する移動経路判定手段の適用例である。   Step S406 is an application example of the movement path determination means for determining whether or not the movement path of the parent (user) specified in step S405 (specification means) is different from the movement path of the child (other user). .

ステップS404は、ステップS402、S403(判定手段)により、親(ユーザ)のいるエリアを示すエリア情報(エリア名)と子供(他のユーザ)のいるエリアを示すエリア情報(エリア名)とがそれぞれ異なると判定され、かつ、ステップS406(移動経路判定手段)により、親(ユーザ)の移動経路と、子供(他のユーザ)の移動経路とが異なると判定された場合に(ステップS406:YES)、子供(他のユーザ)が迷子である旨を親又は管理者が操作する端末に通知するようにサーバ101は制御する(制御手段)。   In step S404, area information (area name) indicating an area where a parent (user) is present and area information (area name) indicating an area where a child (other user) is present are determined by steps S402 and S403 (determination means), respectively. When it is determined that they are different, and it is determined by step S406 (movement path determination means) that the movement path of the parent (user) is different from the movement path of the child (other user) (step S406: YES). The server 101 controls to notify the terminal operated by the parent or the administrator that the child (other user) is lost (control means).

また、ステップS402、ステップS403(判定手段)により、親(ユーザ)のいるエリアを示すエリア情報(エリア名)と子供(他のユーザ)のいるエリアを示すエリア情報(エリア名)とが一致する(ステップS402:NO、ステップS403:NO)、又は、ステップS402、S403(判定手段)により、親(ユーザ)のいるエリアを示すエリア情報(エリア名)と子供(他のユーザ)のいるエリアを示すエリア情報(エリア名)とがそれぞれ異なると判定された場合であっても、ステップS406(移動経路判定手段)により、親(ユーザ)の移動経路と、子供(他のユーザ)の移動経路とが一致すると判定された場合には(ステップS406:NO)、子供(他のユーザ)が迷子である旨を通知しないようにサーバ101は制御する(制御手段)。   Further, step S402 and step S403 (determination means) match the area information (area name) indicating the area where the parent (user) is present with the area information (area name) indicating the area where the child (other user) is present. (Step S402: NO, Step S403: NO) Or, by Steps S402, S403 (determination means), the area information (area name) indicating the area where the parent (user) is present and the area where the child (other user) is present Even when it is determined that the area information (area name) shown is different from each other, the parent (user) movement path and the child (other user) movement path are determined by step S406 (movement path determination means). Are determined to match (step S406: NO), the server 101 does not notify that the child (other user) is lost. To control (control means).

また、サーバ101は、テップ404では、子供(他のユーザ)が迷子である旨と共に、当該他のユーザのエリア情報(エリア名)がステップS303(格納手段)によりメモリ(記憶手段)に格納された最後の撮影時間(例えば図9の11:00(現在))における当該他のユーザ(子供)のエリア情報(エリア名)を通知する。   In step 404, the server 101 indicates that the child (other user) is lost, and the area information (area name) of the other user is stored in the memory (storage unit) by step S303 (storage unit). The area information (area name) of the other user (child) at the last shooting time (for example, 11:00 in FIG. 9 (current)) is notified.

このように、図5に示す処理により、図4に示す処理による上述の効果に加えて、実際は親子が一緒に移動しているが、たまたま、親と子とがそれぞれ異なるエリアにいると連続して認識された場合であっても、迷子の誤判定を減らすことが可能となるという効果を奏することができる。
<図6の説明>
Thus, in addition to the above-described effects of the process shown in FIG. 4, the process shown in FIG. 5 actually causes the parent and child to move together. However, if the parent and child happen to be in different areas, the process continues. Even if it is recognized, it is possible to reduce the number of misidentifications of lost children.
<Description of FIG. 6>

次に、図6を用いて、図3に示すステップS304で実行される出口付近アラート処理の詳細処理について説明する。   Next, the detailed process of the exit vicinity alert process executed in step S304 illustrated in FIG. 3 will be described with reference to FIG.

図6は、図3に示すステップS304で実行される出口付近アラート処理の詳細処理を示すフローチャートの一例を示す図である。   FIG. 6 is a diagram showing an example of a detailed flowchart of the exit vicinity alert process executed in step S304 shown in FIG.

ステップS601〜S609に示す各ステップの処理は、サーバ101の外部メモリ211に記録されているプログラムによる制御に従ってサーバ101のCPU201が実行する。
図6に示すフローチャートは、同一の家族IDごとに繰り返し実行する。
The processing of each step shown in steps S601 to S609 is executed by the CPU 201 of the server 101 in accordance with control by a program recorded in the external memory 211 of the server 101.
The flowchart shown in FIG. 6 is repeatedly executed for each identical family ID.

まず、サーバ101は、管理テーブル(図8、又は図9)の上部の先頭レコードから順番に、同一の家族IDごとに、図6に示す処理を実行する。   First, the server 101 executes the process shown in FIG. 6 for each identical family ID in order from the top record at the top of the management table (FIG. 8 or FIG. 9).

まず、サーバ101は、ステップS401と同様に、管理テーブル(図8又は図9)から、家族IDが同一のレコードのうち、「ID」、「家族ID」、「保護者フラグ」、「通知先」の各データと、現在時刻のエリア名と、現在時刻から所定時間分(ここでは例えば6秒分)のエリア名とを取得する(ステップS601)。   First, similarly to step S401, the server 101 selects “ID”, “family ID”, “guardian flag”, “notification destination” from the management table (FIG. 8 or FIG. 9), among records having the same family ID. ”, The area name at the current time, and the area name for a predetermined time (for example, 6 seconds here) from the current time (step S601).

そして、サーバ101は、ステップS601で取得した親子の現在時刻のエリア名に従って、現在の親子がいるエリアが異なるか否かを判定する(S602)。   Then, the server 101 determines whether or not the area where the current parent and child are located is different according to the area name of the current time of the parent and child acquired in step S601 (S602).

ステップS602の処理は、上述したステップS402と同様の処理であるため、ここでは具体例を用いた説明は、省略する。   Since the process of step S602 is the same process as step S402 described above, a description using a specific example is omitted here.

サーバ101は、ステップS602において、親子が同じエリアにいると判定された場合(NO)には、処理をステップS305に移行し、親子が異なるエリアにいると判定された場合(YES)には、処理をステップS603に移行する。   If it is determined in step S602 that the parent and child are in the same area (NO), the server 101 proceeds to step S305, and if it is determined that the parent and child are in different areas (YES), The process proceeds to step S603.

そして、サーバ101は、ステップS601で取得した、現在時刻から所定時間分(ここでは例えば6秒分)の親子のエリア名のうち、直近の過去の所定期間(たとえば2秒)分の親子のいるエリアが異なるかを判定する(ステップS603)。   Then, the server 101 has the parent and child for the most recent predetermined period (for example, 2 seconds) among the area names of the parent and child for the predetermined time (for example, 6 seconds here) acquired from the current time acquired in step S601. It is determined whether the areas are different (step S603).

ステップS603の処理も、上述したステップS403と同様の処理であるため、ここでは具体例を用いた説明は省略する。   Since the process of step S603 is also the same process as step S403 described above, a description using a specific example is omitted here.

そして、サーバ101は、ステップS603で、直近の過去の所定期間(たとえば2秒)の親子のエリアが異なると判定された場合には(YES)、処理をステップS604に移行する。一方、直近の過去の所定期間(たとえば2秒)の親子のエリアが異ならない(同じである)と判定された場合には(NO)、処理をステップS608に移行する。   If the server 101 determines in step S603 that the parent and child areas of the latest past predetermined period (for example, 2 seconds) are different (YES), the server 101 proceeds to step S604. On the other hand, if it is determined that the parent-child areas in the most recent past predetermined period (for example, 2 seconds) are not different (same) (NO), the process proceeds to step S608.

サーバ101は、ステップS603において、直近の過去の所定期間(たとえば2秒)の親子のいるエリアが異なると判定された場合(ステップS603:YES)、ステップS601で取得された、親子の各時間にいたエリア名から、親子それぞれの所定時間(例えば5秒)分の移動経路を特定する(ステップS604)。   If the server 101 determines in step S603 that the area where the parent and child are in the most recent past predetermined period (for example, 2 seconds) is different (step S603: YES), the server 101 acquires each time of the parent and child acquired in step S601. From the area name, the movement path for a predetermined time (for example, 5 seconds) of each parent and child is specified (step S604).

ステップS604も、上述したステップS405と同様の処理であるため、ここでは具体例を用いた説明は省略する。   Since step S604 is also the same process as step S405 described above, a description using a specific example is omitted here.

そして、サーバ101は、ステップS604で特定された、親子の所定時間(たとえば5秒)分の移動経路が異なるか否かを判定し(ステップS605)、異なると判定された場合には(YES)、処理をステップS606に移行し、一方、親子の所定時間(たとえば5秒)分の移動経路が同じと判定された場合には(NO)、処理をステップS608に移行する。   Then, the server 101 determines whether or not the movement paths for a predetermined time (for example, 5 seconds) of the parent and child specified in step S604 are different (step S605). If it is determined that they are different (YES) The process proceeds to step S606. On the other hand, if it is determined that the movement paths for a predetermined time (for example, 5 seconds) of the parent and child are the same (NO), the process proceeds to step S608.

ステップS605は、図5のステップS406と同じ処理であるため、ここでは具体例を用いた説明は省略する。   Since step S605 is the same process as step S406 of FIG. 5, the description using a specific example is omitted here.

サーバ101は、ステップS606において、ステップS601で取得したエリア名から、現在、親のいるエリアが出口エリア、又は出口付近エリアではなく、子供が出口エリア、又は出口付近エリアにいるか否かを判定する。   In step S606, the server 101 determines from the area name acquired in step S601 whether or not the current parent area is not the exit area or the vicinity of the exit, but the child is in the exit area or the vicinity of the exit. .

例えば、図9の管理テーブル900に示す家族IDが3のレコード(IDが104のレコードと、IDが105のレコード)が処理対象の場合、ステップS606の判定処理が行われる。この場合、11:00(現在)、親(IDが104である被写体)は、エリアAにおり、子(IDが105である被写体)は、エリアC(出口エリア、又は出口付近エリア)にいることが分かる。   For example, when a record with a family ID of 3 (a record with an ID of 104 and a record with an ID of 105) shown in the management table 900 of FIG. 9 is a processing target, the determination process in step S606 is performed. In this case, 11:00 (current), the parent (subject with ID 104) is in area A, and the child (subject with ID 105) is in area C (exit area or near the exit). I understand that.

そのため、図9の管理テーブル900に示す家族IDが3のレコードの場合、ステップS606において、親のいるエリアが出口エリア、又は出口付近エリアではなく、子供が出口エリア、又は出口付近エリアにいる(ステップS606:YES)と判定される。   Therefore, if the family ID shown in the management table 900 of FIG. 9 is a record of 3, in step S606, the parent area is not the exit area or the vicinity of the exit, but the child is in the exit area or the vicinity of the exit ( Step S606: YES) is determined.

サーバ101は、ステップS601で取得したエリア名から、現在、親のいるエリアが出口エリア、又は出口付近エリアではなく、子供が出口エリア、又は出口付近エリアにいると判定された場合(ステップS606:YES)、子供が迷子である旨、及び子供が施設外に出てしまうおそれがある旨を、現在処理対象のレコードの保護者フラグに1が設定されたレコードの通知先に、通知する(ステップS607)。
ステップS607で通知される内容の例を、図10の1002に示す。
The server 101 determines from the area name acquired in step S601 that the current parent area is not the exit area or the vicinity of the exit, and that the child is in the exit area or the vicinity of the exit (step S606: (Yes), Notify the notification destination of the record in which the guardian flag of the record to be processed is set to 1 that the child is lost and the child may go out of the facility (step) S607).
An example of the content notified in step S607 is shown in 1002 of FIG.

そして、サーバ101は、ステップS607の処理を実行すると、処理をステップS305に移行する。   And the server 101 will transfer a process to step S305, if the process of step S607 is performed.

サーバ101は、ステップS606において、ステップS601で取得したエリア名から、現在、親のいるエリアが出口エリア、又は出口付近エリアである、又は子供が出口エリア、又は出口付近エリアにいないと判定された場合(ステップS606:NO)、処理をステップS305に移行する。   In step S606, the server 101 determines from the area name acquired in step S601 that the current parent area is the exit area or the vicinity of the exit, or that the child is not in the exit area or the vicinity of the exit. If so (step S606: NO), the process proceeds to step S305.

サーバ101は、ステップS608において、ステップS601で取得したエリア名から、現在、親のいるエリアが出口エリア、又は出口付近エリアではなく、子供が出口エリア、又は出口付近エリアにいるか否かを判定する。   In step S608, the server 101 determines from the area name acquired in step S601 whether the area where the parent is currently is not the exit area or the vicinity of the exit, and the child is in the exit area or the vicinity of the exit. .

ステップS608の処理も、ステップS606の処理と同様であるため、ここでは、具体例を用いた説明を省略する。   Since the process in step S608 is the same as the process in step S606, a description using a specific example is omitted here.

そして、サーバ101は、ステップS608において、ステップS601で取得したエリア名から、現在、親のいるエリアが出口エリア、又は出口付近エリアではなく、子供が出口エリア、又は出口付近エリアにいると判定された場合には(YES)、子供が施設外に出てしまうおそれがある旨を、現在処理対象のレコードの保護者フラグに1が設定されたレコードの通知先に、通知する(ステップS609)。   In step S608, the server 101 determines from the area name acquired in step S601 that the current parent area is not the exit area or the exit vicinity area, and that the child is in the exit area or the exit vicinity area. If yes (YES), the fact that there is a possibility that the child may go out of the facility is notified to the notification destination of the record in which the guardian flag of the record to be processed is set to 1 (step S609).

ステップS609で通知される内容の例を、図10の1003に示す。そして、サーバ101は、ステップS607の処理を実行すると、処理をステップS305に移行する。   An example of the content notified in step S609 is shown in 1003 of FIG. And the server 101 will transfer a process to step S305, if the process of step S607 is performed.

また、サーバ101は、ステップS608において、ステップS601で取得したエリア名から、現在、親のいるエリアが出口エリア、又は出口付近エリアである、又は、子供が出口エリア、又は出口付近エリアにはいないと判定された場合には(NO)、処理をステップS305に移行する。   In step S608, the server 101 determines that the area where the parent is currently is the exit area or the vicinity of the exit from the area name acquired in step S601, or the child is not in the exit area or the vicinity of the exit. (NO), the process proceeds to step S305.

ステップS606、ステップS608は、図8、又は図9のテーブルの最後の撮影時間(例えば、図8、図9の11:00(現在))における、親(ユーザ)のエリア情報(エリア名)が出口エリアまたは出口付近エリアを示すエリア情報(エリアC)ではなく、子供(他のユーザ)のエリア情報(エリア名)が出口エリアまたは出口付近エリアを示すエリア情報(エリアC)であるか否かを判定する出口判定手段の適用例である。   In steps S606 and S608, the area information (area name) of the parent (user) at the last shooting time (for example, 11:00 (current) in FIGS. 8 and 9) in the table of FIG. Whether the area information (area name) of the child (other user) is area information (area C) indicating the exit area or the vicinity of the exit, not the area information (area C) indicating the exit area or the vicinity of the exit. It is an example of application of the exit determination means for determining.

そして、サーバ101は、ステップS607、ステップS609では、他のユーザが施設外に出てしまう旨を通知する。   In step S607 and step S609, the server 101 notifies that other users will leave the facility.

図6に示す処理を実行することにより、親のいるエリアが出口エリアではなく、かつ、子供のいるエリアが出口エリアある場合、保護者にアラートを通知するため、例えば、子供が施設外に出てしまい、カラーコードによる捜索が出来なくなってしまうことを防止することができる。   By executing the processing shown in FIG. 6, when the area where the parent is not the exit area and the area where the child is located is the exit area, for example, the child goes out of the facility to notify the guardian of an alert. Therefore, it is possible to prevent the color code search from being disabled.

さらに、子供が迷子の状態で、出口エリアに来てしまった場合(S602でYES、S603でYES、S605でYES、S606でYESと判定された場合)には、ステップS607で、子供が迷子である旨と子供が施設外に出てしまう旨を保護者に通知するため、親が施設内にいる状態で、迷子の子供が施設外に出てしまい、カラーコードによる捜索が出来なくなってしまうことを防止することができる。   Furthermore, if the child is lost and has come to the exit area (YES in S602, YES in S603, YES in S605, YES in S606), the child is lost in step S607. In order to notify parents of the fact that the child is going out of the facility, the child who is lost is out of the facility while the parent is inside the facility, making it impossible to search by color code. Can be prevented.

また、親子が一緒に移動しているが、たまたま、親と子とがそれぞれ異なるエリアにいると認識された場合(S604、S605でNO)、S607で子供が迷子である旨の通知を行わないので、迷子の誤判定を防止することができる。   If the parent and child are moving together, but it happens that the parent and child are recognized to be in different areas (NO in S604 and S605), the notification that the child is lost is not performed in S607. Therefore, misjudgment of a lost child can be prevented.

また、親子が一緒に移動しているが、たまたま、親と子とがそれぞれ異なるエリアにいると認識された場合でも(S604、S605でNO)、ステップS608で、親は出口エリアにはいないが子供が出口エリアにいると判定された場合には(YES)、子供が施設外に出てしまう旨を通知するため、例えば、子供が迷子の状態ではなかったが、子供がいきなり出口に向かって走って親から離れて、(親が子供の位置を把握できず、)子供が出口から施設外に出そうになった場合でも、子供が出口エリアにいることを親が把握でき、施設外に子供が出てしまうことを防止することができる。
<図7の説明>
Further, although the parent and child are moving together, even if it is recognized that the parent and the child are in different areas (NO in S604 and S605), the parent is not in the exit area in step S608. If it is determined that the child is in the exit area (YES), for example, in order to notify that the child will go out of the facility, for example, the child was not lost, but the child suddenly headed for the exit If you run away from your parents and your child is about to leave the facility from the exit, you can see that your child is in the exit area. It is possible to prevent the child from leaving.
<Explanation of FIG. 7>

次に、図7を用いて、図3に示すステップS304で実行される子供置き去りアラート処理の詳細処理について説明する。   Next, the detailed process of the child leaving alert process executed in step S304 shown in FIG. 3 will be described with reference to FIG.

図7は、図3に示すステップS304で実行される子供置き去りアラート処理の詳細処理を示すフローチャートの一例を示す図である。   FIG. 7 is a diagram showing an example of a detailed flowchart of the child leaving alert process executed in step S304 shown in FIG.

ステップS701〜S707に示す各ステップの処理は、サーバ101の外部メモリ211に記録されているプログラムによる制御に従ってサーバ101のCPU201が実行する。
図7に示すフローチャートは、同一の家族IDごとに繰り返し実行する。
The processing of each step shown in steps S701 to S707 is executed by the CPU 201 of the server 101 in accordance with control by a program recorded in the external memory 211 of the server 101.
The flowchart shown in FIG. 7 is repeatedly executed for each identical family ID.

まず、サーバ101は、管理テーブル(図8、又は図9)の上部の先頭レコードから順番に、同一の家族IDごとに、図7に示す処理を実行する。   First, the server 101 executes the process shown in FIG. 7 for each identical family ID in order from the top record at the top of the management table (FIG. 8 or FIG. 9).

まず、サーバ101は、ステップS401と同様に、管理テーブル(図8又は図9)から、家族IDが同一のレコードのうち、「ID」、「家族ID」、「保護者フラグ」、「通知先」の各データと、現在時刻のエリア名と、現在時刻から所定時間分(ここでは例えば6秒分)のエリア名とを取得する(ステップS701)。   First, similarly to step S401, the server 101 selects “ID”, “family ID”, “guardian flag”, “notification destination” from the management table (FIG. 8 or FIG. 9), among records having the same family ID. ”, The area name at the current time, and the area name for a predetermined time (for example, 6 seconds here) from the current time (step S701).

ステップS701の処理は、上述したステップS401と同様の処理であるため、ここでは具体例を用いた説明は、省略する。   Since the process in step S701 is the same as that in step S401 described above, a description using a specific example is omitted here.

そして、サーバ101は、ステップS701で取得した親子の現在時刻のエリア名に従って、現在の親子がいるエリアが異なるか否かを判定する(S702)。   Then, the server 101 determines whether or not the area where the current parent and child are located is different according to the area name of the current time of the parent and child acquired in step S701 (S702).

ステップS702の処理は、上述したステップS402と同様の処理であるため、ここでは具体例を用いた説明は、省略する。   Since the process of step S702 is the same process as step S402 described above, a description using a specific example is omitted here.

サーバ101は、ステップS702において、親子が同じエリアにいると判定された場合(NO)には、処理をステップS305に移行し、親子が異なるエリアにいると判定された場合(YES)には、処理をステップS703に移行する。   If it is determined in step S702 that the parent and child are in the same area (NO), the server 101 proceeds to step S305, and if it is determined that the parent and child are in different areas (YES), The process proceeds to step S703.

そして、サーバ101は、ステップS701で取得した、現在時刻から所定時間分(ここでは例えば6秒分)の親子のエリア名のうち、直近の過去の所定期間(たとえば2秒)分の親子のいるエリアが異なるかを判定する(ステップS703)。   Then, the server 101 has the parent and child for the most recent predetermined period (for example, 2 seconds) among the area names of the parent and child for the predetermined time (for example, for 6 seconds here) acquired from the current time acquired in step S701. It is determined whether the areas are different (step S703).

サーバ101は、ステップS703において、直近の過去の所定期間(たとえば2秒)分の親子のいるエリアが異なると判定された場合(YES)には、処理をステップS704に移行し、直近の過去の所定期間(たとえば2秒)分の親子のいるエリアが異ならない(同一である)と判定された場合(NO)には、処理をステップS305に移行する。   If the server 101 determines in step S703 that the areas with the parent and child for the most recent predetermined period (for example, 2 seconds) are different (YES), the server 101 moves the process to step S704, If it is determined that the areas with the parent and child for a predetermined period (for example, 2 seconds) are not different (is the same) (NO), the process proceeds to step S305.

ステップS703の処理も、上述したステップS403と同様の処理であるため、ここでは具体例を用いた説明は省略する。   Since the process in step S703 is the same as that in step S403 described above, a description using a specific example is omitted here.

次に、サーバ101は、現在、及び直近の過去の所定期間(たとえば2秒)分の親のいるエリアを認識できているか否かを判定する(ステップS704)。具体的には、ステップS701で取得したエリア名のうち、及び直近の過去の所定期間(たとえば2秒)分の親のいるエリアがNULLであるか否かを判定する。NULLは、カラーコードからIDを読み取れない出来ない場合に管理テーブル(図8又は図9)登録される値である。   Next, the server 101 determines whether or not the current and the latest past predetermined period (for example, 2 seconds) have been recognized by the parent (step S704). Specifically, it is determined whether or not the area that is the parent for the most recent predetermined period (for example, 2 seconds) among the area names acquired in step S701 is NULL. NULL is a value registered in the management table (FIG. 8 or FIG. 9) when the ID cannot be read from the color code.

そして、サーバ101は、現在、及び直近の過去の所定期間(たとえば2秒)分の親のいるエリアを認識できてい(NULL)と判定された場合には(YES)、処理をステップS705に移行して、一方、現在、及び直近の過去の所定期間(たとえば2秒)分の親のいるエリアを認識できていると判定された場合には(NO)、処理をステップS305に移行する。   If the server 101 determines that the parent area for the current and the latest past predetermined period (for example, 2 seconds) has been recognized (NULL) (YES), the process proceeds to step S705. On the other hand, if it is determined that the parental area for the present and the latest past predetermined period (for example, 2 seconds) can be recognized (NO), the process proceeds to step S305.

次に、サーバ101は、現在、子供がいるエリアが施設内のエリアであるか否かを判定する(ステップS705)   Next, the server 101 determines whether or not the area where the child is present is an area in the facility (step S705).

具体的には、ステップS701で取得した保護者フラグが0のレコードの現在のエリアがNULLになっているか否かを判定することにより、現在、子供がいるエリアが施設内のエリアであるか否かを判定する。   Specifically, by determining whether or not the current area of the record with the guardian flag of 0 acquired in step S701 is NULL, it is determined whether or not the area where the child is currently is an area in the facility. Determine whether.

サーバ101は、現在、子供がいるエリアが施設内のエリアである(ステップS701で取得した保護者フラグが0のレコードの現在のエリアがNULLではない)と判定された場合には(YES)、処理をステップS706に移行し、一方、現在、子供がいるエリアが施設内のエリアではない(ステップS701で取得した保護者フラグが0のレコードの現在のエリアがNULLである)と判定された場合には、処理をステップS305に移行する。   If the server 101 determines that the area where the child is present is an area in the facility (the current area of the record with the guardian flag 0 acquired in step S701 is not NULL) (YES), When the process proceeds to step S706, on the other hand, it is determined that the area where the child is present is not an area in the facility (the current area of the record with the guardian flag acquired in step S701 is NULL) In step S305, the process proceeds to step S305.

サーバ101は、ステップS706において、直近で過去に検出された親のエリアが出口エリアであるか否かを判定する。具体的には、ステップS701で取得した保護者フラグが1のレコードのデータのうち、現在から最も近い時間(直近)で、親がいるエリアが検出されたエリア名がエリアC(出口エリア)であるか否かを判定する。   In step S706, the server 101 determines whether the latest parent area detected in the past is the exit area. Specifically, among the data of the record with the guardian flag of 1 acquired in step S701, the area name where the parent area is detected is the area C (exit area) at the time closest to the present (most recent). It is determined whether or not there is.

サーバ101は、ステップS706において、直近で過去に検出された親のエリアが出口エリアである(現在から最も近い時間(直近)で、親がいるエリアが検出されたエリア名がエリアC(出口エリア)である)と判定された場合には(ステップS706:YES)、子供が施設内に置き去りになっている旨を、ステップS701で取得したレコードのうち、保護者フラグが1のレコードの通知先に、通知する(ステップS707)。
ステップS707で通知する内容の例を、図10の1004に示す。
In step S706, the server 101 determines that the parent area detected in the past in the past is the exit area (the area name where the parent is detected is the area C (exit area )) (Step S706: YES), the notification destination of the record with the guardian flag being 1 among the records acquired in step S701 that the child has been left in the facility (Step S707).
An example of the content notified in step S707 is shown in 1004 of FIG.

ステップS704、ステップS705、ステップS706は、図8、図9の最後の撮影時間(例えば11:00(現在))から過去の所定時間内における、親(ユーザ)のいるエリアを示すエリア情報(エリア名)が施設内のエリアを示さないNULLであり、かつ、当該最後の撮影時間における、子供(他のユーザ)のいるエリアを示すエリア情報(エリア名)が施設内のエリア(NULL以外)を示し、かつ、エリア情報(エリア名)が施設内のエリア(NULL以外)を示す最後の撮影時間における親(ユーザ)のエリア情報(エリア名)が施設内の出口エリアまたは出口付近エリアを示すエリア情報(エリアC)であるか否かを判定する置き去り判定手段の適用例である。   Steps S704, S705, and S706 include area information (area) indicating an area where a parent (user) is present within a predetermined past time from the last shooting time (eg, 11:00 (current)) in FIGS. Name) is NULL that does not indicate an area in the facility, and area information (area name) that indicates an area where a child (another user) is in the last shooting time is an area in the facility (other than NULL). The area information (area name) of the parent (user) at the last shooting time indicating the area information (area name) indicating the area in the facility (other than NULL) is the area indicating the exit area or the vicinity of the exit in the facility It is an application example of the leaving determination means for determining whether the information (area C).

そして、ステップS707では、子供(他のユーザ)が施設内に置き去りになっている旨を通知する。   In step S707, notification is made that the child (other user) has been left behind in the facility.

以上、図7に示す処理を実行することにより、現在、及び直近の過去の所定期間、親のいるエリアがNULLで、かつ、現在、子供のいるエリアが施設内のエリアであり、直近で過去に検出された親のエリアが出口エリアである場合、施設内に子供を置き去りにした旨を、親に通知することができる。   As described above, by executing the processing shown in FIG. 7, the area where the parent is present is NULL and the area where the child is present is the area in the facility at the present and the latest past predetermined period. If the detected parent area is an exit area, the parent can be notified that the child has been left in the facility.

それゆえ、例えば、子供を施設内に置き去りにして、親が施設外に出てしまった場合、子供を施設内に置き去りにしたことを親が把握することができると共に、障害物によりカラーコードを一時的に認識出来なかった場合や、親子が一緒に移動しているが、たまたま、親が先に施設外に出て、子供が後で施設外に出る場合であっても、子供を施設内に置き去りにしたと判定することを減らすことができる。   Therefore, for example, if a child is left in the facility and the parent leaves the facility, the parent can know that the child has been left in the facility, and the color code is indicated by the obstacle. If the child is temporarily unable to recognize, or if the parent and child are moving together, it happens that the parent leaves the facility first and the child later leaves the facility. It is possible to reduce the determination of leaving behind.

以上、本発明によれば、ユーザとユーザに引率された他のユーザが一緒に移動しているものの、ユーザとユーザに引率された他のユーザとがそれぞれ異なるエリアにいると連続して判定された場合でも、他のユーザが迷子になったと誤って判定することを減らすことが出来る。   As described above, according to the present invention, the user and the other user led by the user are moving together, but it is continuously determined that the user and the other user led by the user are in different areas. Even if it happens, it is possible to reduce the erroneous determination that the other user is lost.

また、本発明によれば、子供が親と離れて一人で施設外に出てしまうことや、親が子供を施設内に置き去りにして施設外に出てしまうことを防ぐことができる。   Moreover, according to this invention, it can prevent that a child leaves | separates from a parent and goes out of a facility alone, or a parent leaves a child in a facility and goes out of a facility.

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。   Another object of the present invention is to supply a storage medium storing software program codes for realizing the functions of the above-described embodiments to a system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores the storage medium. Needless to say, this can also be achieved by reading and executing the program code stored in.

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。   In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing the program code constitute the present invention.

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のカード、ROM等を用いることができる。   As a storage medium for supplying the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile card, a ROM, or the like can be used.

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このプログラムコードを読み出し実行可能な情報処理装置(コンピュータ)が前述した実施形態の機能を実現する。   Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (basic system or operating system) running on the computer based on the instruction of the program code. Needless to say, a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included. An information processing apparatus (computer) that can read and execute the program code realizes the functions of the above-described embodiments.

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Further, after the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion board or function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.

101 サーバ
102 携帯端末
103 ネットワークカメラ
104 ネットワークカメラ
105 ネットワークカメラ
106 ネットワークカメラ
107 ネットワークカメラ
108 ネットワークカメラ
109 ネットワークカメラ
110 ネットワークカメラ
111 ネットワークカメラ
112 ネットワークカメラ
113 ネットワークカメラ
114 ネットワークカメラ
115 親(被写体)
116 カラーコード
117 子(被写体)
118 カラーコード
119 ネットワーク

DESCRIPTION OF SYMBOLS 101 Server 102 Mobile terminal 103 Network camera 104 Network camera 105 Network camera 106 Network camera 107 Network camera 108 Network camera 109 Network camera 110 Network camera 111 Network camera 112 Network camera 113 Network camera 114 Network camera 115 Parent (subject)
116 Color code 117 Child (subject)
118 Color code 119 Network

Claims (6)

ネットワークに接続されたカメラから当該カメラで撮影された画像データを、当該ネットワークを介して受信し、当該画像データを用いて迷子を特定して通知する情報処理装置であって、
カメラが設置されているエリアを示すエリア情報をカメラごとに記憶する記憶手段と、
各カメラにより継続的に撮影された画像データを当該各カメラから取得する取得手段と、
前記取得手段により取得された画像データを解析することにより当該画像データに撮影されたユーザを特定するユーザ特定手段と、
前記ユーザ特定手段によりユーザが特定された画像データを前記取得手段により取得したカメラが設置されているエリアを示す前記エリア情報に基づき、前記ユーザ特定手段により特定されたユーザのいるエリアを特定するエリア特定手段と、
前記エリア特定手段により特定された、前記ユーザ特定手段により特定されたユーザのいるエリアを示すエリア情報、及び、前記エリア特定手段により特定された、前記ユーザ特定手段により特定された、当該ユーザに引率された他のユーザのいるエリアを示すエリア情報を、当該画像データが前記カメラにより撮影された撮影時間ごとに、それぞれ前記記憶手段に格納する格納手段と、
前記エリア特定手段により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なるか否かを判定する判定手段と、
前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とに従って、前記エリア特定手段により特定されたエリア情報が前記格納手段により前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記ユーザの移動経路と、前記他のユーザの移動経路とを特定する特定手段と、
前記特定手段により特定された、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なるか否かを判定する移動経路判定手段と、
前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定され、かつ、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なると判定された場合に、前記他のユーザが迷子である旨を通知し、一方、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とが一致する、又は、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定された場合であっても、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが一致すると判定された場合には、前記他のユーザが迷子である旨を通知しないように制御する制御手段と、
を備えることを特徴とする情報処理装置。
An information processing apparatus that receives image data captured by a camera connected to a network via the network, identifies and notifies a lost child using the image data, and
Storage means for storing, for each camera, area information indicating an area where the camera is installed;
Acquisition means for acquiring image data continuously photographed by each camera from each camera;
User identifying means for identifying a user photographed in the image data by analyzing the image data obtained by the obtaining means;
An area for specifying the area where the user specified by the user specifying means is located based on the area information indicating the area where the camera that has acquired the image data specified by the user specifying means by the acquiring means is installed. Specific means,
The area information indicating the area where the user specified by the user specifying means is specified, and the user specified by the user specifying means specified by the area specifying means. Storage means for storing the area information indicating the area where the other user is located in the storage means for each shooting time when the image data was shot by the camera;
Area information indicating the area where the user is stored stored by the storage unit within a predetermined time in the past from the last photographing time stored in the storage unit by the area information specified by the area specifying unit, and the other Determining means for determining whether the area information indicating the area where the user is located is different from each other;
In accordance with the area information indicating the area where the user is stored and the area information indicating the area where the other user is stored, the area information specified by the area specifying means is stored by the storage means. Identifying means for identifying the movement path of the user and the movement path of the other user within a predetermined time in the past from the last shooting time stored in
A movement path determination unit that determines whether the movement path of the user specified by the specifying unit is different from the movement path of the other user;
The determination means determines that the area information indicating the area where the user is and the area information indicating the area where the other user is different from each other, and the movement route determination means determines that the user's movement route is When it is determined that the other user's movement route is different, the other user is notified that he / she is lost, while the determination means notifies the area information indicating the area where the user exists and the other When the area information indicating the area where the user is located matches the area information indicating the area where the user is located or the area information indicating the area where the user is located is different from the area information indicating the area where the other user is located Even so, when the movement route determination means determines that the movement route of the user matches the movement route of the other user. And control means for controlling so as not to notify the other user is lost,
An information processing apparatus comprising:
前記制御手段は、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定され、かつ、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なると判定された場合に、前記他のユーザが迷子である旨と共に、当該他のユーザのエリア情報が前記格納手段により前記記憶手段に格納された最後の撮影時間における当該他のユーザのエリア情報を通知することを特徴とする請求項1に記載の情報処理装置。   The control means determines that the area information indicating the area where the user is and the area information indicating the area where the other user is different from each other by the determining means, and the moving path determining means determines that the user When it is determined that the other user's travel route is different from the other user's travel route, the storage unit stores the area information of the other user together with the fact that the other user is lost. The information processing apparatus according to claim 1, wherein the area information of the other user at the last shooting time is notified. 前記エリア特定手段により特定されたエリア情報が前記格納手段により前記記憶手段に登録された最後の撮影時間における、前記格納手段により格納された前記ユーザのエリア情報が出口エリアまたは出口付近エリアを示すエリア情報ではなく、前記格納手段により格納された前記他のユーザのエリア情報が出口エリアまたは出口付近エリアを示すエリア情報であるか否かを判定する出口判定手段を更に備え、
前記制御手段は、前記出口判定手段により、前記格納手段により格納された前記ユーザのエリア情報が出口エリアまたは出口付近エリアを示すエリア情報ではなく、前記格納手段により格納された前記他のユーザのエリア情報が出口エリアまたは出口付近エリアを示すエリア情報であると判定された場合には、前記他のユーザが施設外に出てしまう旨を通知することを特徴とする請求項1又は2に記載の情報処理装置。
An area in which the area information of the user stored by the storage means indicates an exit area or an area near the exit at the last photographing time when the area information specified by the area specifying means is registered in the storage means by the storage means It further comprises exit determination means for determining whether the area information of the other user stored by the storage means instead of information is area information indicating an exit area or an exit vicinity area,
The control means is that the area information of the user stored by the storage means by the exit determination means is not area information indicating an exit area or an area near the exit, but the area of the other user stored by the storage means. The information according to claim 1 or 2, wherein when it is determined that the information is area information indicating an exit area or an area near the exit, the user is notified that the other user is going out of the facility. Information processing device.
前記エリア特定手段により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報が施設内のエリアを示さず、かつ、前記エリア特定手段により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間における、前記他のユーザのいるエリアを示すエリア情報が施設内のエリアを示し、かつ、前記エリア特定手段により特定されたエリア情報が施設内のエリアを示す最後の撮影時間における前記ユーザのエリア情報が施設内の出口エリアまたは出口付近エリアを示すエリア情報であるか否かを判定する置き去り判定手段を更に備え、
前記制御手段は、前記置き去り判定手段により、前記エリア特定手段により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報が施設内のエリアを示さず、かつ、前記エリア特定手段により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間における、前記他のユーザのいるエリアを示すエリア情報が施設内のエリアを示し、かつ、前記エリア特定手段により特定されたエリア情報が施設内のエリアを示す最後の撮影時間における前記ユーザのエリア情報が施設内の出口エリアまたは出口付近エリアを示すエリア情報であると判定された場合に、前記他のユーザが施設内に置き去りになっている旨を通知することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
Area information indicating the area where the user is stored and stored in the storage means within the past predetermined time from the last shooting time when the area information specified by the area specifying means is stored in the storage means is stored in the facility. The area information indicating the area where the other user is present at the last photographing time when the area information specified by the area specifying means is not stored in the storage means indicates the area in the facility, In addition, it is determined whether or not the area information of the user at the last photographing time in which the area information specified by the area specifying means indicates an area in the facility is area information indicating an exit area in the facility or an area near the exit. Further comprising a leaving determination means for
The control means is the user stored by the storage means within a predetermined time in the past from the last shooting time when the area information specified by the area specifying means is stored by the leaving determination means and stored in the storage means. The area information indicating the area where the other user is located does not indicate the area in the facility, and the area information specified by the area specifying means is the area where the other user is located at the last photographing time stored in the storage means. The area information shown indicates the area in the facility, and the area information specified by the area specifying means indicates the area in the facility. If it is determined that the area information indicates that the other user has been left behind in the facility The information processing apparatus according to any one of claims 1 to 3, wherein Rukoto.
ネットワークに接続されたカメラが設置されているエリアを示すエリア情報をカメラごとに記憶する記憶手段を備え、前記カメラから当該カメラで撮影された画像データを、当該ネットワークを介して受信し、当該画像データを用いて迷子を特定して通知する情報処理装置における制御方法であって、
前記情報処理装置の取得手段が、各カメラにより継続的に撮影された画像データを当該各カメラから取得する取得工程と、
前記情報処理装置のユーザ特定手段が、前記取得工程により取得された画像データを解析することにより当該画像データに撮影されたユーザを特定するユーザ特定工程と、
前記情報処理装置のエリア特定手段が、前記ユーザ特定工程によりユーザが特定された画像データを前記取得工程により取得したカメラが設置されているエリアを示す前記エリア情報に基づき、前記ユーザ特定工程により特定されたユーザのいるエリアを特定するエリア特定工程と、
前記情報処理装置の格納手段が、前記エリア特定工程により特定された、前記ユーザ特定工程により特定されたユーザのいるエリアを示すエリア情報、及び、前記エリア特定工程により特定された、前記ユーザ特定工程により特定された、当該ユーザに引率された他のユーザのいるエリアを示すエリア情報を、当該画像データが前記カメラにより撮影された撮影時間ごとに、それぞれ前記記憶手段に格納する格納工程と、
前記情報処理装置の判定手段が、前記エリア特定工程により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記格納工程により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なるか否かを判定する判定工程と、
前記情報処理装置の特定手段が、前記格納工程により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とに従って、前記エリア特定工程により特定されたエリア情報が前記格納工程により前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記ユーザの移動経路と、前記他のユーザの移動経路とを特定する特定工程と、
前記情報処理装置の移動経路判定手段が、前記特定工程により特定された、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なるか否かを判定する移動経路判定工程と、
前記情報処理装置の制御手段が、前記判定工程により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定され、かつ、前記移動経路判定工程により、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なると判定された場合に、前記他のユーザが迷子である旨を通知し、一方、前記判定工程により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とが一致する、又は、前記判定工程により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定された場合であっても、前記移動経路判定工程により、前記ユーザの移動経路と、前記他のユーザの移動経路とが一致すると判定された場合には、前記他のユーザが迷子である旨を通知しないように制御する制御工程と、
を備えることを特徴とする制御方法。
Storage means for storing for each camera area information indicating an area in which a camera connected to the network is installed, and receiving image data captured by the camera from the camera via the network; A control method in an information processing apparatus for identifying and notifying a lost child using data,
An acquisition step in which the acquisition unit of the information processing apparatus acquires image data continuously captured by each camera from each camera;
A user specifying step in which the user specifying means of the information processing apparatus specifies a user who has been photographed in the image data by analyzing the image data acquired in the acquiring step;
The area specifying means of the information processing apparatus specifies the user identification step based on the area information indicating the area where the camera that acquired the image data specified by the user identification step is installed. An area identification process for identifying the area where the user is located,
The storage unit of the information processing apparatus is specified by the area specifying step, the area information indicating the area where the user specified by the user specifying step is present, and the user specifying step specified by the area specifying step A storage step of storing, in the storage unit, the area information that indicates the area where the other user led by the user is specified, for each shooting time when the image data was shot by the camera;
The determination unit of the information processing apparatus has the user stored in the storing step within a predetermined past time from the last shooting time in which the area information specified in the area specifying step is stored in the storage unit A determination step of determining whether the area information indicating the area and the area information indicating the area where the other user is located are different from each other;
The area specified by the area specifying step according to the area information indicating the area where the user is stored and the area information indicating the area where the other user is stored, by the specifying unit of the information processing apparatus A specifying step of identifying the user's movement path and the other user's movement path within a predetermined time in the past from the last photographing time when the information was stored in the storage means by the storing step;
A movement path determination step in which the movement path determination means of the information processing apparatus determines whether or not the movement path of the user specified by the specifying step is different from the movement path of the other user;
The control means of the information processing apparatus determines that the area information indicating the area where the user is and the area information indicating the area where the other user is different from each other in the determination step, and the movement route determination step When it is determined that the moving route of the user and the moving route of the other user are different from each other, the fact that the other user is lost is notified. The area information indicating the area matches the area information indicating the area where the other user is present, or the area information indicating the area where the user is present and the area information indicating the area where the other user is present in the determination step. Are determined to be different from each other by the movement route determination step, the movement route of the user and the movement route of the other user. If a match was determined to includes a control step of the other users is controlled not to notify a lost,
A control method comprising:
ネットワークに接続されたカメラが設置されているエリアを示すエリア情報をカメラごとに記憶する記憶手段を備え、前記カメラから当該カメラで撮影された画像データを、当該ネットワークを介して受信し、当該画像データを用いて迷子を特定して通知する情報処理装置で読み取り実行可能なプログラムであって、
前記情報処理装置を、
各カメラにより継続的に撮影された画像データを当該各カメラから取得する取得手段と、
前記取得手段により取得された画像データを解析することにより当該画像データに撮影されたユーザを特定するユーザ特定手段と、
前記ユーザ特定手段によりユーザが特定された画像データを前記取得手段により取得したカメラが設置されているエリアを示す前記エリア情報に基づき、前記ユーザ特定手段により特定されたユーザのいるエリアを特定するエリア特定手段と、
前記エリア特定手段により特定された、前記ユーザ特定手段により特定されたユーザのいるエリアを示すエリア情報、及び、前記エリア特定手段により特定された、前記ユーザ特定手段により特定された、当該ユーザに引率された他のユーザのいるエリアを示すエリア情報を、当該画像データが前記カメラにより撮影された撮影時間ごとに、それぞれ前記記憶手段に格納する格納手段と、
前記エリア特定手段により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なるか否かを判定する判定手段と、
前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とに従って、前記エリア特定手段により特定されたエリア情報が前記格納手段により前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記ユーザの移動経路と、前記他のユーザの移動経路とを特定する特定手段と、
前記特定手段により特定された、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なるか否かを判定する移動経路判定手段と、
前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定され、かつ、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なると判定された場合に、前記他のユーザが迷子である旨を通知し、一方、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とが一致する、又は、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定された場合であっても、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが一致すると判定された場合には、前記他のユーザが迷子である旨を通知しないように制御する制御手段として機能させることを特徴とするプログラム。


Storage means for storing for each camera area information indicating an area in which a camera connected to the network is installed, and receiving image data captured by the camera from the camera via the network; A program that can be read and executed by an information processing device that identifies and notifies a lost child using data,
The information processing apparatus;
Acquisition means for acquiring image data continuously photographed by each camera from each camera;
User identifying means for identifying a user photographed in the image data by analyzing the image data obtained by the obtaining means;
An area for specifying the area where the user specified by the user specifying means is located based on the area information indicating the area where the camera that has acquired the image data specified by the user specifying means by the acquiring means is installed. Specific means,
The area information indicating the area where the user specified by the user specifying means is specified, and the user specified by the user specifying means specified by the area specifying means. Storage means for storing the area information indicating the area where the other user is located in the storage means for each shooting time when the image data was shot by the camera;
Area information indicating the area where the user is stored stored by the storage unit within a predetermined time in the past from the last photographing time stored in the storage unit by the area information specified by the area specifying unit, and the other Determining means for determining whether the area information indicating the area where the user is located is different from each other;
In accordance with the area information indicating the area where the user is stored and the area information indicating the area where the other user is stored, the area information specified by the area specifying means is stored by the storage means. Identifying means for identifying the movement path of the user and the movement path of the other user within a predetermined time in the past from the last shooting time stored in
A movement path determination unit that determines whether the movement path of the user specified by the specifying unit is different from the movement path of the other user;
The determination means determines that the area information indicating the area where the user is and the area information indicating the area where the other user is different from each other, and the movement route determination means determines that the user's movement route is When it is determined that the other user's movement route is different, the other user is notified that he / she is lost, while the determination means notifies the area information indicating the area where the user exists and the other When the area information indicating the area where the user is located matches the area information indicating the area where the user is located or the area information indicating the area where the user is located is different from the area information indicating the area where the other user is located Even so, when the movement route determination means determines that the movement route of the user matches the movement route of the other user. Program for causing to function as a control means for controlling so as not to notify the other user is lost.


JP2018108459A 2018-06-06 2018-06-06 Information processing apparatus, control method thereof, and program Active JP6734546B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018108459A JP6734546B2 (en) 2018-06-06 2018-06-06 Information processing apparatus, control method thereof, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018108459A JP6734546B2 (en) 2018-06-06 2018-06-06 Information processing apparatus, control method thereof, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014131525A Division JP6350024B2 (en) 2014-06-26 2014-06-26 Information processing apparatus, control method therefor, and program

Publications (3)

Publication Number Publication Date
JP2018163682A true JP2018163682A (en) 2018-10-18
JP2018163682A5 JP2018163682A5 (en) 2019-03-07
JP6734546B2 JP6734546B2 (en) 2020-08-05

Family

ID=63860155

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018108459A Active JP6734546B2 (en) 2018-06-06 2018-06-06 Information processing apparatus, control method thereof, and program

Country Status (1)

Country Link
JP (1) JP6734546B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004206584A (en) * 2002-12-26 2004-07-22 Casio Comput Co Ltd Image data processor and program
JP2007060528A (en) * 2005-08-26 2007-03-08 Toshiba Corp Facility user management system and user management method
JP2007299127A (en) * 2006-04-28 2007-11-15 Sanyo Electric Co Ltd Communication terminal and communication system
JP2011087253A (en) * 2009-10-19 2011-04-28 Canon Inc Imaging apparatus, information processing device and information processing method
JP2013069128A (en) * 2011-09-22 2013-04-18 Nec Embedded Products Ltd System and method for finding lost child

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004206584A (en) * 2002-12-26 2004-07-22 Casio Comput Co Ltd Image data processor and program
JP2007060528A (en) * 2005-08-26 2007-03-08 Toshiba Corp Facility user management system and user management method
JP2007299127A (en) * 2006-04-28 2007-11-15 Sanyo Electric Co Ltd Communication terminal and communication system
JP2011087253A (en) * 2009-10-19 2011-04-28 Canon Inc Imaging apparatus, information processing device and information processing method
JP2013069128A (en) * 2011-09-22 2013-04-18 Nec Embedded Products Ltd System and method for finding lost child

Also Published As

Publication number Publication date
JP6734546B2 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
CN110084153B (en) Smart camera for automatically sharing pictures
US10237494B2 (en) Display control apparatus and display control method
JP6442746B2 (en) Information processing apparatus, control method, and program
JP6959495B2 (en) Information processing equipment, information processing methods, programs
JP5868164B2 (en) Imaging apparatus, information processing system, control method, and program
JP6810359B2 (en) Information processing device, control method, program
JPWO2009142098A1 (en) Image processing apparatus, camera, image processing method and program
JP2022009097A (en) Discrimination device, discrimination method and program
JP2009239467A (en) Monitoring terminal apparatus, display processing method therefor, program, and memory
JP6350024B2 (en) Information processing apparatus, control method therefor, and program
US10163013B2 (en) Photographic image extraction apparatus, photographic image extraction method, and program
EP3576419A1 (en) Image processing apparatus, information processing apparatus, information processing method, and program
JP2013203481A (en) System and method for management of article
JP6056375B2 (en) Information processing system, information processing method, and computer program
WO2023160728A1 (en) Information notification method and apparatus, and terminal and storage medium
JP2018163682A (en) Information processing apparatus, method for controlling the same, and program
JP7020567B2 (en) Information processing systems, information processing equipment, information processing methods, and programs
JP2018074429A (en) Information processing device, information processing method, and program
US20220076465A1 (en) Electronic device and method for editing content of external device
JP5578143B2 (en) Information providing apparatus and information providing system
KR20150106621A (en) Terminal and service providing device, control method thereof, computer readable medium having computer program recorded therefor and image searching system
JP7483784B2 (en) Information processing device, information processing method, and program
JP7185537B2 (en) Imaging system
JP2019159587A (en) Online service system, online service providing method, content management device and computer program
JP7298124B2 (en) Video editing device and program

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180703

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180705

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181031

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200622

R151 Written notification of patent or utility model registration

Ref document number: 6734546

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250