JP2018056908A - Information processing device, and information processing method and program - Google Patents

Information processing device, and information processing method and program Download PDF

Info

Publication number
JP2018056908A
JP2018056908A JP2016193552A JP2016193552A JP2018056908A JP 2018056908 A JP2018056908 A JP 2018056908A JP 2016193552 A JP2016193552 A JP 2016193552A JP 2016193552 A JP2016193552 A JP 2016193552A JP 2018056908 A JP2018056908 A JP 2018056908A
Authority
JP
Japan
Prior art keywords
projection
information processing
target
processing apparatus
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016193552A
Other languages
Japanese (ja)
Inventor
寛基 浦島
Kanki Urashima
寛基 浦島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016193552A priority Critical patent/JP2018056908A/en
Publication of JP2018056908A publication Critical patent/JP2018056908A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Alarm Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an information processing device for enabling a security guard to accurately specify a left-behind object at an installation place of a monitoring camera that detects abnormality when the monitoring camera detects the abnormality.SOLUTION: An information processing device 300 having projection means for projecting an image includes: first acquisition means 302 for acquiring position information of an object; second acquisition means 305 for acquiring information on a position and an attitude of the information processing device; and estimation means 303 for estimating whether the object is included within a projection range of the projection means on the basis of the position information of the object and the position and the attitude of the information processing device. When the estimation means estimates that the object is included within the projection range, the projection means 304 projects a prescribed image.SELECTED DRAWING: Figure 3

Description

本発明は目標物に関する関連情報を含む画像の投影を行う情報処理装置、情報処理方法およびプログラムに関する。   The present invention relates to an information processing apparatus, an information processing method, and a program for projecting an image including related information related to a target.

近年施設で活動する人の安全を確保するために、施設への監視カメラの導入が進んできている。監視カメラは現場で起きた不審な状況(例えば物が置き去りにされたり、持ち去られたり、不審者がいたりなど)を検知して、監視内容を集中管理する監視センターに内容を通知することができる。監視センターの職員は監視カメラからの通知を受けて、巡回中の警備員に無線で内容を知らせて、状況の確認を指示したり、警察や救急に連絡したりする。   In recent years, surveillance cameras have been introduced into facilities to ensure the safety of people who are active in the facilities. Surveillance cameras can detect suspicious situations that occur in the field (for example, things left behind, taken away, or suspicious), and notify the monitoring center that centralizes the monitoring content. . Surveillance center personnel receive notifications from surveillance cameras, inform the security guards traveling around by radio, give instructions to confirm the situation, and contact the police and emergency personnel.

図1(a)は、従来の監視カメラを施設内で利用した場合を想定した模式図を示す。施設内の廊下100の所定位置に所定角度で監視カメラ101が設置され、指定の撮像エリア102を24時間継続して記録する。警備員103は、施設内の巡回警備を行う際に、監視センターの職員が監視カメラの映像を監視し、置き去り物や不審者等を発見した場合、無線で監視カメラの近くの警備員に連絡し、置き去り物や不審者等の確認を指示する必要がある。   Fig.1 (a) shows the schematic diagram assumed the case where the conventional surveillance camera is utilized in a facility. A monitoring camera 101 is installed at a predetermined angle in a corridor 100 in the facility and records a designated imaging area 102 continuously for 24 hours. When the security guard 103 performs patrol security in the facility, if the staff of the surveillance center monitors the video of the surveillance camera and finds something left behind or a suspicious person, it will contact the security guard near the surveillance camera wirelessly It is necessary to instruct confirmation of leftovers and suspicious persons.

監視カメラの映像を監視する職員の負荷を軽減するために、特許文献1の情報通知装置では、監視カメラで異常を検知した場合に自動的に通知を行う。   In order to reduce the burden on the staff who monitors the video of the monitoring camera, the information notification device of Patent Document 1 automatically notifies when an abnormality is detected by the monitoring camera.

特開2010−41390号公報JP 2010-41390 A

しかしながら、従来の警備システムでは、監視カメラで異常を検知した際に、連絡や通知を受けた巡回中の警備員が異常を検知した監視カメラの設置場所に到着しても、置き去り物の正確な場所をその場で特定することは難しかった。   However, in the conventional security system, when an abnormality is detected by the surveillance camera, even if the patrol guard who is in contact with the notification arrives at the installation location of the surveillance camera where the abnormality is detected, the exact left-behind It was difficult to identify the place on the spot.

本発明は上記の課題に鑑みてなされたものであり、投影範囲に目標物が含まれている場合は、所定画像を投影することによって目標物の特定を容易にする情報処理装置を提供することを目的とする。また、その情報処理装置の情報処理方法およびプログラムを提供することを目的とする。   The present invention has been made in view of the above problems, and provides an information processing apparatus that facilitates specifying a target by projecting a predetermined image when the target is included in the projection range. With the goal. It is another object of the present invention to provide an information processing method and program for the information processing apparatus.

かかる課題を解決するため情報処理装置は、以下の構成を備える。すなわち、画像を投影する投影手段を有する情報処理装置であって、目標物の位置情報を取得する第1取得手段と、前記情報処理装置の位置及び姿勢に関する情報を取得する第2取得手段と、前記目標物の位置情報と前記情報処理装置の位置及び姿勢とに基づいて、前記投影手段の投影範囲に前記目標物が含まれているかを推定する推定手段と、を有し、前記推定手段によって、前記目標物が前記投影範囲に含まれていると推定された場合、前記投影手段は、所定画像を投影する。   In order to solve this problem, the information processing apparatus includes the following configuration. That is, an information processing apparatus having a projection means for projecting an image, the first acquisition means for acquiring position information of a target, the second acquisition means for acquiring information on the position and orientation of the information processing apparatus, Estimation means for estimating whether or not the target is included in the projection range of the projection means based on the position information of the target and the position and orientation of the information processing apparatus, and the estimation means When it is estimated that the target is included in the projection range, the projecting unit projects a predetermined image.

本発明の情報処理装置によれば、投影範囲に目標物が含まれている場合は、所定画像を投影することによって、ユーザが目標物を容易に特定することができる。   According to the information processing apparatus of the present invention, when the target is included in the projection range, the user can easily specify the target by projecting the predetermined image.

第1実施形態に係る情報処理装置の施設における使用例を示す図である。It is a figure which shows the usage example in the plant | facility of the information processing apparatus which concerns on 1st Embodiment. 第1実施形態に係る情報処理装置のハードウェア構成例である。It is a hardware structural example of the information processing apparatus which concerns on 1st Embodiment. 第1実施形態に係る情報処理装置のブロック図である。1 is a block diagram of an information processing apparatus according to a first embodiment. 第1実施形態に係る制御部201が保持する検知情報の一例を示すテーブルである。It is a table which shows an example of the detection information which control part 201 concerning a 1st embodiment holds. 第1実施形態に係る制御部201が保持する投射データの一例を示す図である。It is a figure which shows an example of the projection data which the control part 201 which concerns on 1st Embodiment hold | maintains. 第1実施形態に係る投射部203から投射データを投射した際の投影面の一例を示す図である。It is a figure which shows an example of the projection surface at the time of projecting projection data from the projection part 203 which concerns on 1st Embodiment. 第1実施形態に係る制御部201の処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of a process of the control part 201 which concerns on 1st Embodiment. 第1実施形態に係る制御部201の処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of a process of the control part 201 which concerns on 1st Embodiment. 第2実施形態に係る制御部201が保持する投射データの一例を示す図である。It is a figure which shows an example of the projection data which the control part 201 which concerns on 2nd Embodiment hold | maintains. 第2実施形態に係る投射部203から投射データを投射した際の投影面の一例を示す図である。It is a figure which shows an example of the projection surface at the time of projecting projection data from the projection part 203 which concerns on 2nd Embodiment. 第2実施形態に係る制御部201の処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of a process of the control part 201 which concerns on 2nd Embodiment. 第2実施形態に係る制御部201の処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of a process of the control part 201 which concerns on 2nd Embodiment.

(第1の実施形態)
本実施形態の情報処理装置として、投影機能を有する投射型デバイスを例に説明する。投射型デバイス、デバイスを向けた方向を明るく光を投射する懐中電灯として利用するだけでなく、その方向に図形や映像を投影表示することが可能である。本実施形態の投射型デバイスが、監視カメラで検知した置き去り物に関する検知情報を受信した際に、警備員を検知情報が発生した場所に誘導し、その発生場所にある置き去り物の場所を強調するために、置き去り物に対して図形(マーク)の投影を行う。なお、本実施形態では、置き去り物を例に説明するが、置き去り物に限らず、任意の目標物であってもよい。なお、本実施形態では、置き去り物は、監視カメラの映像のフレーム間の画像差分から検知された物体である。
(First embodiment)
As an information processing apparatus of this embodiment, a projection type device having a projection function will be described as an example. Not only can it be used as a projection device, a flashlight that projects light brightly in the direction to which the device is directed, but it is also possible to project and display figures and images in that direction. When the projection type device according to the present embodiment receives detection information about a leftover detected by the surveillance camera, the projection device guides the guard to the place where the detection information has been generated, and emphasizes the place of the leftover at the generation location. Therefore, a figure (mark) is projected on the left-over object. In the present embodiment, a left-over object will be described as an example. However, the target object is not limited to a left-over object. In the present embodiment, the left behind object is an object detected from an image difference between frames of video of the surveillance camera.

図2は、本実施形態に係る情報処理装置の一例である投射型デバイスのハードウェア構成を示す構成図である。投射型デバイス104は、CPU201、RAM202、ROM203をシステムバス208に接続したコンピュータを備える。CPU(Central Processing Unit)201は、コンピュータプログラムを実行することにより、投射型デバイス102の動作を制御する制御部として機能する。   FIG. 2 is a configuration diagram illustrating a hardware configuration of a projection device that is an example of the information processing apparatus according to the present embodiment. The projection type device 104 includes a computer in which a CPU 201, a RAM 202, and a ROM 203 are connected to a system bus 208. A CPU (Central Processing Unit) 201 functions as a control unit that controls the operation of the projection type device 102 by executing a computer program.

RAM(Random Access Memory)202はCPU201のワークエリアとして機能する。また、図示しない外部装置などから供給されるプログラムやデータを一時記憶する。ROM(Read Only Memory)203は変更を必要としないプログラムや各種パラメータを格納する。   A RAM (Random Access Memory) 202 functions as a work area of the CPU 201. Further, it temporarily stores programs and data supplied from an external device (not shown). A ROM (Read Only Memory) 203 stores programs that do not need to be changed and various parameters.

システムバス208には、CPU201、RAM202及びROM203の他に、入力装置204、出力装置205及びネットワーク・インタフェース206が接続されている。入力装置204は、デバイスの位置や姿勢、方位を把握するための層である。例えば、GPSやBluetooth(登録商標)、IMU(慣性を計測するセンサ群)、地磁気センサや光の投射方向にあるオブジェクトや投影面を検出するためのRGBカメラや赤外線カメラなどの少なくともの一つである。   In addition to the CPU 201, RAM 202, and ROM 203, an input device 204, an output device 205, and a network interface 206 are connected to the system bus 208. The input device 204 is a layer for grasping the position, posture, and orientation of the device. For example, at least one of GPS, Bluetooth (registered trademark), IMU (a sensor group for measuring inertia), a geomagnetic sensor, an RGB camera or an infrared camera for detecting an object or projection plane in the light projection direction, and the like. is there.

出力装置205は、光を投射する装置であって、その全部もしくは一部は画像や映像を投影できるプロジェクタで構成される。ネットワーク・インタフェース206は、ネットワーク207を介して外部のデバイス及び/又は記憶媒体との間でデータ等の授受を行い、本実施形態の送受信部である。システムバス208は、情報処理装置内の各要素を接続し、各要素間における信号の送受信を行う。   The output device 205 is a device that projects light, and all or part of the output device 205 is a projector that can project an image or video. The network interface 206 exchanges data and the like with an external device and / or storage medium via the network 207, and is a transmission / reception unit of this embodiment. A system bus 208 connects the elements in the information processing apparatus, and transmits and receives signals between the elements.

図3は、本実施形態に係る情報処理装置300の一例である投射型デバイス104の機能ブロック図である。情報処理装置300は、制御部301、送受信部302、推定部303及び投影部304を含む。   FIG. 3 is a functional block diagram of the projection type device 104 that is an example of the information processing apparatus 300 according to the present embodiment. The information processing apparatus 300 includes a control unit 301, a transmission / reception unit 302, an estimation unit 303, and a projection unit 304.

制御部301は、CPU201によってROM203に記憶されたプログラムやデータをRAM202に読み出してデバイスの制御処理を実行するものである。第1取得部302は、ネットワークカメラ(監視カメラ)もしくはサーバとのデータの送受信を行って、目標物となる異常部の位置情報を取得する。第1取得部302の送受信はネットワーク・インタフェース206を介して行う。また、第1取得部302は、外部との送受信に限らず、異常部の位置情報を取得できるのであれば、外部との送受信を行わなくてもよい。例えば、目標物が金属物である場合は、第1取得部は金属探知機であってもよい。   The control unit 301 reads out programs and data stored in the ROM 203 by the CPU 201 to the RAM 202 and executes device control processing. The first acquisition unit 302 transmits / receives data to / from a network camera (surveillance camera) or a server, and acquires position information of an abnormal part serving as a target. Transmission / reception of the first acquisition unit 302 is performed via the network interface 206. Moreover, the 1st acquisition part 302 does not need to perform transmission / reception with the exterior, if it can acquire the positional information on not only the transmission / reception with an exterior but an abnormal part. For example, when the target is a metal object, the first acquisition unit may be a metal detector.

第2取得部305は、本実施形態の情報処理装置である投射型デバイス104の位置及び姿勢に関する情報を取得する。投射型デバイス104の位置の取得は、例えば、入力装置204のGPSのデータから投射型デバイス104の位置を取得する。また、入力装置204のカメラからの画像データや、後述する各種センサのデータから、投射型デデバイス104の姿勢と方位の情報に基づき、投射型デデバイス104の姿勢を検出する。投影部304は、プロジェクタにより構成され、制御部301の制御によって所定画像、図形や映像を投影する。   The second acquisition unit 305 acquires information regarding the position and orientation of the projection type device 104 that is the information processing apparatus of the present embodiment. For example, the position of the projection type device 104 is acquired from the GPS data of the input device 204. Further, the attitude of the projection device 104 is detected from image data from the camera of the input device 204 and data of various sensors to be described later based on the attitude and orientation information of the projection device 104. The projection unit 304 is configured by a projector, and projects a predetermined image, figure, or video under the control of the control unit 301.

推定部303は、投射型デバイス104の投影部304の投影方向やその投影方向にある投影面の位置を推定し、投影範囲を推定する。また、推定部303は、目標物である置き去り物の位置情報に基づいて、置き去り物が投影範囲に含まれているか否かを推定する。   The estimation unit 303 estimates the projection direction of the projection unit 304 of the projection type device 104 and the position of the projection plane in the projection direction, and estimates the projection range. Further, the estimation unit 303 estimates whether or not the left object is included in the projection range based on the position information of the left object that is the target.

次に、制御部301が保持する検知情報の一例について、図4のテーブルに基づいて説明する。図4のテーブル400は、投射型デバイスがネットワーク・インタフェース206から受信した検知情報を表している。   Next, an example of detection information held by the control unit 301 will be described based on the table of FIG. A table 400 in FIG. 4 represents detection information received by the projection type device from the network interface 206.

検知情報はネットワークカメラで検知した情報そのものでもよいし、サーバで変換した後の情報でもよい。検知情報の受信の仕方は、投射型デバイスの方から定期的にネットワークカメラやサーバに取りに行ってもよいし、ネットワークカメラやサーバから投射型デバイス側に送信してもよい。検知情報は、検知情報が発生したネットワークカメラの位置401、検知情報が発生した時のネットワークカメラの向き402、検知時刻403、検知内容404、ネットワークカメラの撮像範囲内の検知エリア405の5種類の情報で表される。   The detection information may be the information itself detected by the network camera or information after conversion by the server. The detection information may be received periodically from the projection device to the network camera or server, or may be transmitted from the network camera or server to the projection device side. There are five types of detection information: the position 401 of the network camera where the detection information is generated, the orientation 402 of the network camera when the detection information is generated, the detection time 403, the detection content 404, and the detection area 405 within the imaging range of the network camera. Represented by information.

図4の例では、制御部301が記憶するテーブルには検知情報406と検知情報407が格納されている。施設内の位置は、所定の位置を原点とした3次元の座標(x、y、z)で表されるため、ネットワークカメラの位置401は、この3次元座標で表現される。ネットワークカメラの向きは、x軸、y軸、z軸周りのそれぞれの回転角度(rx、ry、rz)によって表現する。   In the example of FIG. 4, detection information 406 and detection information 407 are stored in a table stored in the control unit 301. Since the position in the facility is represented by three-dimensional coordinates (x, y, z) with the predetermined position as the origin, the network camera position 401 is represented by the three-dimensional coordinates. The orientation of the network camera is expressed by respective rotation angles (rx, ry, rz) about the x-axis, y-axis, and z-axis.

検知時刻403は、異常を検知した日付、時刻により表現される。検知内容404は、検知された内容を表しており、例えば物の置き去りや、持ち去り、不審者といった情報である。撮像範囲内の検知エリア405は、ネットワークカメラの撮像範囲内のどの部分で検知情報が発生したかを、ピクセル単位の画像サイズ中の矩形情報で表している。矩形情報は、画像中の位置x、yとそこからの大きさw、hで表現される。   The detection time 403 is expressed by the date and time when the abnormality is detected. The detected content 404 represents the detected content, and is information such as, for example, a thing left behind, taken away, or a suspicious person. The detection area 405 within the imaging range represents in which part of the imaging range of the network camera the detection information is generated by rectangular information in the image size in pixel units. The rectangular information is expressed by positions x and y in the image and sizes w and h therefrom.

次に、図1(b)、(c)を用いて、検知情報の発生場所における投射型デバイスの想定する利用方法の一例について説明する。図1(b)は監視カメラ107が所定位置に所定角度で設置された施設の一室106で指定の投影エリア108の監視を行っている。監視カメラ107は部屋106に置き去りされた箱109を検知して検知情報を生成する。ここで生成された検知情報は、ネットワーク・インタフェース206から受信され、制御部301の検知情報406として記憶される。即ち、監視カメラ107(ネットワークカメラ)の位置、向き、検知内容、検知時間を含む検知情報は、サーバに送信され、その後サーバから警備員の持つ投射型デバイスに送信される。図1(c)は、図5で示した誘導方法により誘導された警備員103が部屋106に到着して、異常検知された対象物を確認している状況を示している。警備員は、投射型デバイス104により検知情報の場所にある箱109に対し、投射光105を向けている。   Next, with reference to FIGS. 1B and 1C, an example of a usage method assumed by the projection type device at the location where the detection information is generated will be described. In FIG. 1B, a designated projection area 108 is monitored in a room 106 of a facility where a monitoring camera 107 is installed at a predetermined position at a predetermined angle. The monitoring camera 107 detects the box 109 left in the room 106 and generates detection information. The detection information generated here is received from the network interface 206 and stored as detection information 406 of the control unit 301. That is, detection information including the position, orientation, detection content, and detection time of the monitoring camera 107 (network camera) is transmitted to the server, and then transmitted from the server to the projection type device possessed by the security guard. FIG. 1C shows a situation where the security guard 103 guided by the guidance method shown in FIG. 5 has arrived at the room 106 and is confirming the object whose abnormality has been detected. The security guard directs the projection light 105 toward the box 109 at the location of the detection information by the projection type device 104.

次に、制御部301が保持する投影データの一例について、図5を用いて説明する。図5(a)〜(e)の矩形500、506は、制御部301が保持する投影データの例を表し、出力装置205のプロジェクタは投影データに基づいて出力(投影)する。図5(a)は、投射型デバイス104が検知情報を受信する前に、投影部304の投影データを表す。この場合は、投射型デバイス104は、懐中電灯として使用するために、白色光のみを投射する投影データを用いて投影する。   Next, an example of projection data held by the control unit 301 will be described with reference to FIG. The rectangles 500 and 506 in FIGS. 5A to 5E represent examples of projection data held by the control unit 301, and the projector of the output device 205 outputs (projects) based on the projection data. FIG. 5A shows the projection data of the projection unit 304 before the projection device 104 receives the detection information. In this case, the projection type device 104 projects using projection data for projecting only white light for use as a flashlight.

図5(b)は、送受信部302が検知情報のデータを受信した後に、推定部303が警備員から置き去り物までの距離が所定値以上であると推定した場合に、警備員を部屋106に誘導するために生成される投影データを表す。投影データの大部分は懐中電灯としての機能を優先するため、白色光を投影するように投影データを生成し、右下部に地図501を投影するように投影データを生成する。地図には警備員の現在位置と検知情報の発生場所、検知情報の発生場所までの経路を表示する。なお、ここでは、検知情報の発生場所は、監視カメラ(ネットワークカメラ)から異常が検知された異常発生場所である。   FIG. 5B shows that when the estimation unit 303 estimates that the distance from the guard to the left behind is greater than or equal to a predetermined value after the transmission / reception unit 302 receives the detection information data, the guard is placed in the room 106. Represents projection data generated for guidance. Since most of the projection data prioritizes the function as a flashlight, the projection data is generated so as to project white light, and the projection data is generated so that the map 501 is projected on the lower right. The map displays the current location of the guard, the location where the detection information is generated, and the route to the location where the detection information is generated. Here, the location where the detection information is generated is the location where the abnormality is detected from the monitoring camera (network camera).

図5(c)は、警備員が投射型デバイス104を検知情報の発生場所にある置き去り物に向けて投影している時に生成する投影データを表す。検知情報の発生場所にある置き去り物を警備員に知らせるために、投射型デバイス104の制御部301によって、発生場所にある置き去り物を中心に円形の図形502(マーク)の投影データが生成される。この円形の図形502は、円形の直径が大きい時に、図形502が置き去り物を囲むように、置き去り物の近傍に投影され、円形の直径が小さい時に、図形502が置き去り物の上に重畳して投影される。   FIG. 5C shows projection data generated when the security guard is projecting the projection type device 104 toward a left-behind object at the detection information generation location. In order to notify the guards of a leftover object at the location where the detection information is generated, the control unit 301 of the projection type device 104 generates projection data of a circular figure 502 (mark) around the leftover object at the occurrence location. . The circular figure 502 is projected in the vicinity of the leftover object so that the figure 502 surrounds the leftover object when the circular diameter is large, and the figure 502 is superimposed on the leftover object when the circular diameter is small. Projected.

図5(d)は、検知情報の発生場所(置き去り物の発見場所)に置き去り物が複数ある場合、投射型デバイスを複数の置き去り物に向けて投影している時に生成する投影データを表す。図5(d)の例は、複数の円形の図形の投影データである。   FIG. 5D shows projection data generated when the projection type device is projected toward a plurality of leftover objects when there are a plurality of leftover objects at the detection information generation place (placed object discovery place). The example of FIG. 5D is projection data of a plurality of circular figures.

図5(e)は、二人の警備員がそれぞれ一つの投射型デバイスを持って、同時に2つの投射型デバイスを一つの検知情報の発生場所にある一つの置き去り物に向けて投影している時に、それぞれの投射型デバイスが生成する投影データを表す。それぞれの投射型デバイスの投影部304が投影している際、投射型デバイスは投影していること及び現在の位置等の情報を、ネットワークを経由して他の投射型デバイスに通知する。また、投射型デバイスは無線発信器を備える場合は、無線信号を発信し、直接に他の投射型デバイスに通知することもできる。ここで、一つの投射型デバイスの非図示の判定部は、他の投射型デバイスからの通知に基づいて、ある置き去り物に対して、他の投射型デバイスが投影しているか否かを判定する。非図示の判定部が他の投射型デバイスが既に投影していると判定した場合、制御部301が同じ置き去り物に対して、投影データの生成を抑制し、或いは投影部304による投影を抑制する。   In FIG. 5 (e), two guards each have one projection type device, and simultaneously project two projection type devices toward one left object at the place where one detection information is generated. Sometimes it represents projection data generated by each projection device. When the projection unit 304 of each projection type device is projecting, the projection type device notifies the other projection type devices of information such as the projection and the current position via the network. Moreover, when a projection type device is equipped with a radio transmitter, it can also transmit a radio signal and notify another projection type device directly. Here, a determination unit (not shown) of one projection type device determines whether another projection type device is projecting a certain left object based on a notification from another projection type device. . When a determination unit (not shown) determines that another projection type device has already projected, the control unit 301 suppresses generation of projection data or suppresses projection by the projection unit 304 for the same left-over object. .

あるいは、投射型デバイスが投影していることをネットワークカメラに通知し、ネットワークカメラはこの通知を受けて検知機能を一時的に停止する。これは、ネットワークカメラの検知機能によって、他の投射型デバイスからの投影や警備員の動きを誤検知し、を検知情報として通知させないためである。   Alternatively, the network camera is notified that the projection type device is projecting, and the network camera receives this notification and temporarily stops the detection function. This is because the detection function of the network camera misdetects the projection from another projection type device or the movement of the guard, and does not notify the detection information.

次に、図5の投影データに基づいて投影部203が投影した際の投影面の一例について、図6を用いて説明する。図6(a)〜(e)は、図5(a)〜(e)それぞれの投影データに基づいて投影部304が投影した際の投影面の状況を表している。   Next, an example of the projection surface when the projection unit 203 projects based on the projection data of FIG. 5 will be described with reference to FIG. FIGS. 6A to 6E show the state of the projection surface when the projection unit 304 projects based on the projection data of FIGS. 5A to 5E.

図6(a)、図6(b)は施設の廊下にいる警備員が、投射型デバイスを廊下の床に向けて投影している時の投影面を表している。図6(a)では、投射型デバイスを懐中電灯として使用し、投射型デバイスが白色光のみを投射しているため、廊下の床がそのまま見えるが、図6(b)では、投射型デバイスが地図501を投影しているため、地図501が床に重畳して見える。地図501に警備員の現在地と異常を検知した監視カメラの監視領域、及び現在地から異常を検知した監視カメラの監視領域(検知情報の発生場所)までの経路が表示されている。警備員が図6(b)のように投影された地図501を参照して、異常を検知した監視カメラの監視領域(検知情報の発生場所)に容易に向かうことができる。   FIGS. 6A and 6B show the projection planes when the guards in the hallway of the facility project the projection type device toward the floor of the hallway. In FIG. 6 (a), the projection type device is used as a flashlight, and since the projection type device projects only white light, the floor of the corridor can be seen as it is, but in FIG. 6 (b), the projection type device is Since the map 501 is projected, the map 501 appears to be superimposed on the floor. A map 501 displays the current location of the security guard and the monitoring area of the monitoring camera that has detected the abnormality, and the route from the current location to the monitoring area of the monitoring camera that has detected the abnormality (where the detection information is generated). With reference to the map 501 projected as shown in FIG. 6B, the security guard can easily go to the monitoring area (where the detection information is generated) of the monitoring camera that has detected the abnormality.

本実施形態では、異常の検知された監視カメラの設置場所(検知情報の発生場所)は部屋106である。警備員が部屋106に到着した後に、図6(c)に示すように、警備員が投射型デバイスを検知情報の発生場所にある箱109に向けている時の投影面を表していて、箱109に対して囲むように円形の図形(マーク)を投影した状態になる。なお、箱109は、部屋106に設定された監視カメラ107によって、置き去りと検知された置き去り物である。   In this embodiment, the installation location of the monitoring camera in which an abnormality has been detected (the location where the detection information is generated) is the room 106. After the security guard arrives at the room 106, as shown in FIG. 6C, the projection plane when the security guard points the projection type device toward the box 109 where the detection information is generated is shown. A circular figure (mark) is projected so as to surround 109. The box 109 is a left-over object that has been detected as being left behind by the monitoring camera 107 set in the room 106.

図6(d)は、部屋106に置き去りにされた箱は二つある場合、投射型デバイスを検知情報の発生場所である部屋106にある箱601と箱602に向けて投影している時の投影面を表している。この場合、投射型デバイスがそれぞれの箱にマークを重畳投影している。   FIG. 6D shows a case where there are two boxes left in the room 106 and the projection type device is projected toward the box 601 and the box 602 in the room 106 where the detection information is generated. Represents a projection plane. In this case, the projection type device projects the mark on each box.

図6(e)は、2人の警備員がそれぞれ投射型デバイスを持って、部屋106に到着した場合、2人の警備員が2つの投射型デバイスを検知情報の発生場所(部屋106)にある一つの箱604(置き去り物)に向けている時の投影面を表している。ここで、図5(e)に示す投影データ500に基づいて投影している場合の投影面600、図5(e)に示す投影データ506に基づいて投影している場合の投影面603は、図6(e)に示されている。この時、箱604を投影する二つのデバイスは、強調投射する情報が重なって視認性を低下させないように、一方の投射デバイスは、投影データ500に基づいて投影し、他方の投射型デバイスは投影データ506に基づいて投影する。   FIG. 6E shows that when two security guards each have a projection type device and arrive at the room 106, the two security guards use the two projection type devices as the detection information generation room (room 106). The projection plane when it faces toward a certain box 604 (left behind) is shown. Here, the projection plane 600 when projected based on the projection data 500 shown in FIG. 5E, and the projection plane 603 when projected based on the projection data 506 shown in FIG. This is shown in FIG. 6 (e). At this time, the two devices that project the box 604 project based on the projection data 500, and the other projection type device projects so that the information to be emphasized and projected do not overlap and deteriorate visibility. Project based on data 506.

続いて、投射型デバイスが実行する情報処理について図7のフローチャートを用いて説明する。以下、フローチャートは、CPUが制御プログラムを実行することにより実現されるものとする。   Next, information processing executed by the projection type device will be described with reference to the flowchart of FIG. Hereinafter, the flowchart is realized by the CPU executing the control program.

まず、制御部301は、ステップS701において、ネットワークカメラが撮像した映像に基づいて検知された置き去りや、持ち去り、不審者といったイベントに関する情報をサーバもしくはネットワークカメラから受信し、ステップS702に移行する。受信した検知情報は図4で示すテーブル400に示す通りである。   First, in step S701, the control unit 301 receives information about an event such as leaving, taking away, or suspicious person detected based on the image captured by the network camera from the server or the network camera, and proceeds to step S702. The received detection information is as shown in the table 400 shown in FIG.

次に、ステップS702において、制御部301は、受信した検知情報があるか否かを判定し、受信した検知情報があればステップS703に進み、受信した検知情報がなければ処理を終了する。ステップS703において、制御部301は直近の検知情報を選択してステップ704に移行する。ここで、制御部301は、テーブル400の検知時刻403から、最新の検知情報406を選択する。また、制御部301は直近の検知情報を選択するのに限らない。例えば、受信した検知情報から、置き去り物を検知した監視カメラの中から、最も近い監視カメラの検知情報を常に選択する設定にしてもよい。なお、選択した検知情報406には、テーブル400に示されている5項目の情報に限らず、非図示の情報が含まれてもよい。   Next, in step S702, the control unit 301 determines whether there is received detection information. If there is received detection information, the process proceeds to step S703, and if there is no received detection information, the process ends. In step S703, the control unit 301 selects the latest detection information and proceeds to step 704. Here, the control unit 301 selects the latest detection information 406 from the detection time 403 in the table 400. The control unit 301 is not limited to selecting the latest detection information. For example, the detection information of the nearest monitoring camera may be set to be always selected from among the monitoring cameras that have detected a leftover object from the received detection information. The selected detection information 406 is not limited to the five items of information shown in the table 400, and may include information not shown.

ステップS704では、推定部303は、選択された検知情報に対応する場所にある置き去り物に投射型デバイスの投影部204を向けて投影しているかどうかを判断し、向けていると判断された場合はステップS706に移行する。向けていないと判断された場合は、そうでなければステップS705の処理に移行する。なお、置き去り物に投影部204が向けている投影しているか否かの判断は、投影面における投影範囲に置き去り物が含まれているか否かを、推定部303が推定することにより行う。また、推定部303は、投影部304の投影範囲における置き去り物の相対的な位置を判断することができる。これによって、置き去り物に対して、所定画像(図形やマーク)を置き去り物に重畳して投影することができる。ここで、投影する所定画像は、警備員が置き去り物に気付くことができるような図形やマークであれば、特に限定しない。   In step S <b> 704, the estimation unit 303 determines whether the projection unit 204 of the projection type device is projected toward a left behind object in a place corresponding to the selected detection information, and when it is determined that the projection unit is pointing Moves to step S706. If it is determined that it is not directed, the process proceeds to step S705 if not. Note that whether the projection unit 204 is projecting toward the left object is determined by the estimation unit 303 estimating whether the left object is included in the projection range on the projection plane. Further, the estimation unit 303 can determine the relative position of the left behind in the projection range of the projection unit 304. Thereby, a predetermined image (a figure or a mark) can be projected on the left object so as to be superimposed on the left object. Here, the predetermined image to be projected is not particularly limited as long as it is a figure or a mark that allows the security guard to notice the object left behind.

ステップS705では、制御部301は、投影部304が置き去り物に向けて投影しているかどうかを判断するためには、投射型デバイスの非図示の測定部が投射型デバイスの位置と姿勢(向き)を計測し、投影面の位置を推定する。デバイスの位置と向きは電波や磁場、音波、歩数等を用いて計測可能である。例えば、Bluetoothを用いてビーコンとの距離を電波強度を基に位置を推定し、IMU(Inertial Measurement Unit)と地磁気センサを用いて投射型デバイスが向いている方向を推定することができる。この情報と施設の地図を基に投射型デバイスの投影エリアを推定する。次に、ネットワークカメラが撮像している範囲を、ネットワークカメラの位置と向き、施設の地図から同様に推定する。最後に投射型デバイスの投影エリアとネットワークカメラの撮像範囲内の検知エリア405に重なりがあるかどうかを判定し、重なりがあれば投射型デバイスが検知情報の示す場所にある置き去り物を向いていると推定することができる。   In step S <b> 705, the control unit 301 determines whether the projection unit 304 is projecting toward a left-off object, and the measurement unit (not illustrated) of the projection type device determines the position and orientation (orientation) of the projection type device. To estimate the position of the projection plane. The position and orientation of the device can be measured using radio waves, magnetic fields, sound waves, steps, etc. For example, it is possible to estimate the position of the beacon using Bluetooth and the position based on the radio wave intensity, and to estimate the direction in which the projection device is facing using an IMU (Internal Measurement Unit) and a geomagnetic sensor. The projection area of the projection type device is estimated based on this information and the facility map. Next, the range captured by the network camera is similarly estimated from the position and orientation of the network camera and the facility map. Finally, it is determined whether or not there is an overlap between the projection area of the projection type device and the detection area 405 within the imaging range of the network camera, and if there is an overlap, the projection type device faces the left-over object at the location indicated by the detection information. Can be estimated.

投射型デバイスの投影エリアやネットワークカメラの撮像エリアの推定には別の方法を用いてもよい。例えば、検知した情報の位置情報をサーバ側で予め計算し、投射型デバイスには検知した情報の位置情報だけを通知し、投射型デバイスでは投影エリアとその位置情報を比較して、重なりがあるかどうかを判定してもよい。また、例えば、検知情報として、ネットワークカメラの位置と向きの代わりに検知した場所の画像を通知し、投射型デバイスでは投影エリアを撮像した上で、画像比較を行い、似た画像である時は同じ方向を向いていると判断してもよい。画像比較にはSIFTなどで計算した画像の特徴量を用いた比較を行うことができる。いずれにせよ、投影部304が検知情報を示す場所の方向に向いているかどうか、或いは置き去り物に向いているかどうかを確認できる方法であればよい。   Another method may be used for estimating the projection area of the projection type device and the imaging area of the network camera. For example, the position information of the detected information is calculated in advance on the server side, only the position information of the detected information is notified to the projection type device, and the projection type device compares the projection area with the position information, and there is an overlap. It may be determined whether or not. In addition, for example, as detection information, an image of a detected place is notified instead of the position and orientation of the network camera, and the projection type device captures the projection area and then compares the images. You may judge that it is facing the same direction. The image comparison can be performed using image feature values calculated by SIFT or the like. In any case, any method can be used as long as it can confirm whether or not the projection unit 304 is directed in the direction of the place where the detection information is indicated, or whether the projection unit 304 is directed toward the left object.

続いて、ステップS705において、選択された検知情報から推定した置き去り物の位置を示す地図を投影部304から投影して処理を終了する。図1(a)で警備員103が検知情報を受信し、その受信した情報が離れた位置にある図1(b)の監視カメラ107からの情報であるとする。この場合、制御部301が保持する投影データは図5(a)から図5(b)に切り替わり、監視カメラ107までの地図501が投影される。地図は地図データと投射型デバイスの位置と向き、検知情報の位置を基に生成される。ここで投影された地図は図6(b)に示すように、施設の廊下に重畳投影された形で警備員に視認される。地図の表示の仕方や位置は警備員の警備業務を阻害しない場所に、阻害しない大きさで投影される限りはいずれの方法であってもよい。次に、ステップS706において、投影部304が検知情報の示す置き去り物に向けて投影している場合は、後述する図形の投影処理を行い、処理を終了する。   Subsequently, in step S705, a map indicating the position of the left object estimated from the selected detection information is projected from the projection unit 304, and the process is terminated. Assume that the security guard 103 receives the detection information in FIG. 1A, and the received information is information from the monitoring camera 107 in FIG. In this case, the projection data held by the control unit 301 is switched from FIG. 5A to FIG. 5B, and the map 501 up to the monitoring camera 107 is projected. The map is generated based on the map data, the position and orientation of the projection device, and the position of the detection information. As shown in FIG. 6B, the map projected here is visually recognized by the security guard in a form of being superimposed and projected on the hallway of the facility. The display method and position of the map may be any method as long as the map is projected to a location that does not hinder the security work of the guards and is projected in a size that does not hinder. Next, in step S706, when the projection unit 304 is projecting toward a left-behind object indicated by the detection information, a graphic projection process described later is performed, and the process ends.

次に、制御部301において実行させる図形の投影処理について図8のフローチャートを用いて説明する。制御部301は、ステップS801において、検知情報が発生した場所を強調する投影データを生成し、投影部から投影し、処理を終了する。投影データは、図5(c)に示すように、円形の図形502を持つグレー色のデータとして生成され、投影部から投影されることにより、警備員には図6(c)に示すように、置き去りを検知された箱109に重畳投影される形で視認される。強調するための図形は、円形のほかに矩形でも多角形でもよい。図形は他のエリアよりも輝度を下げてグレー色で強調表示してもよいし、赤や黄色など別の色に変えてもよい。警備員から見て視認しやすい形式で強調表示される方法であればいずれの方法であってもよい。   Next, graphic projection processing executed by the control unit 301 will be described with reference to the flowchart of FIG. In step S801, the control unit 301 generates projection data that emphasizes the location where the detection information is generated, projects the projection data from the projection unit, and ends the process. As shown in FIG. 5 (c), the projection data is generated as gray data having a circular figure 502 and projected from the projection unit. It is visually recognized in the form of being superimposed and projected on the box 109 where the leaving is detected. The graphic for emphasis may be a rectangle or a polygon in addition to a circle. The graphic may be highlighted in gray with lower brightness than other areas, or may be changed to another color such as red or yellow. Any method may be used as long as it is highlighted in a format that is easy to see from the viewpoint of the security guard.

また、置き去り物が投射型デバイスの投影するエリアの中に複数あるようなケースでは、図5(d)に示すように複数の強調するための図形が生成され、それが図6(d)に示すように置き去り物に重畳投影される形で投影される。その他、複数の投射型デバイスが検知情報の発生場所にある一つの置き去り物に投影するようなケースでは、図5(e)に示すような投影データが生成され、図6(e)に示すように投影される。複数のデバイスを用いる場合、視認性をよくするために、一方の投射型デバイスが置き去り物に強調投影を行い、その他のデバイスは強調投影を行わないように強調投影している他の投射型デバイスがあるかを確認して投影処理の制御を行う。   Also, in the case where there are a plurality of leftover objects in the area projected by the projection type device, a plurality of graphics for emphasis are generated as shown in FIG. 5D, which are shown in FIG. 6D. As shown, it is projected in the form of being overlaid onto the left behind. In addition, in a case where a plurality of projection type devices project onto one left object at the detection information generation location, projection data as shown in FIG. 5 (e) is generated, as shown in FIG. 6 (e). Projected on. When using a plurality of devices, in order to improve the visibility, one projection type device emphasizes the left object, and the other device emphasizes the projection so that no highlight projection is performed. The projection process is controlled by checking if there is any.

以上のように、受信した検知情報をもとに警備員を誘導する地図を表示することで、警備員を置き去り物のある場所に効率的に向かわせることができる。さらに、検知情報の発生場所における置き去り物を強調投影することで、置き去り物がどこあるのかを容易に警備員に確認させることができる。   As described above, by displaying the map that guides the guards based on the received detection information, the guards can be efficiently directed to places where there are left behind items. Furthermore, by emphasizing and projecting the leftover at the place where the detection information is generated, it is possible to make the security guard easily check where the leftover is.

(第2の実施形態)
第1の実施形態では、投射型デバイスを用いて検知情報の位置を強調して投影する例について説明したが、本実施形態では、さらに監視カメラが撮影した過去の映像を受信して投影するユースケースについて説明する。なお、本実施形態のハードウェアの構成が第1の実施形態と同じである。
(Second Embodiment)
In the first embodiment, the example in which the position of the detection information is emphasized and projected using the projection type device has been described. However, in the present embodiment, the past image captured by the monitoring camera is received and projected. The case will be described. Note that the hardware configuration of this embodiment is the same as that of the first embodiment.

本実施形態において、制御部301が保持する投射データの一例について図9に基づいて説明する。図9(a)〜(e)の矩形500は、図5と同様に制御部301が保持する投射データを表す。図9(a)の投影データは、図5(a)の投影データと同様である。図9(b)は、送受信部202が監視カメラ或いはサーバから検知情報を受信後に警備員の誘導のために生成される投射データを表す。図9(b)にある矢印901は、警備員を検知情報の発生場所に誘導するための矢印である。矢印901の向きの計算方法は後述する。   In the present embodiment, an example of projection data held by the control unit 301 will be described with reference to FIG. A rectangle 500 in FIGS. 9A to 9E represents projection data held by the control unit 301 as in FIG. The projection data in FIG. 9A is the same as the projection data in FIG. FIG. 9B shows projection data generated for the guidance of the guard after the transmission / reception unit 202 receives the detection information from the monitoring camera or the server. An arrow 901 in FIG. 9B is an arrow for guiding a security guard to a place where detection information is generated. A method for calculating the direction of the arrow 901 will be described later.

図9(c)は、投射型デバイスを検知情報の発生場所(置き去り物)に向けている時に生成する投射データを表す。本実施形態では、検知情報の発生場所において、監視カメラによる検知情報を確認するためのユーザインタフェース902を生成する。このユーザインタフェース902は警備員に、監視カメラによる検知情報の現在状態の表示と、異常検知時の監視カメラの映像の表示を切り替えるための手段を提供するものである。ユーザインタフェース902は、左側にある時刻10:15は監視カメラが置き去りを検知した過去の時刻であって、右側に文字「現在」が表示されており、この図では「現在」の表示が選択されている。初期状態では、「現在」の表示が選択されているため、現在投影している円形の図形903がユーザインタフェース902と同時に表示されている。ユーザインタフェース902902の選択の切り替え方法については後述する。   FIG. 9C shows the projection data generated when the projection type device is directed to the detection information generation place (left behind). In this embodiment, the user interface 902 for confirming the detection information by the monitoring camera is generated at the location where the detection information is generated. This user interface 902 provides the security guard with means for switching between the display of the current state of detection information by the monitoring camera and the display of the video of the monitoring camera when an abnormality is detected. In the user interface 902, the time 10:15 on the left side is the past time when the surveillance camera detected the leaving, and the character “present” is displayed on the right side. In this figure, the display “current” is selected. ing. In the initial state, since “present” is selected, the currently projected circular figure 903 is displayed simultaneously with the user interface 902. A method for switching selection of the user interface 902902 will be described later.

図9(d)〜(e)は、ユーザインタフェース902に表示された時刻10:15を選択した場合の処理を表している。この時刻の表示が選択されると、制御部301は、置き去り検知時の映像データを投影データとして再生する。置き去り検知時(過去)の映像データは、監視カメラ或いはサーバから投射型デバイスの送受信部であるネットワーク・インタフェース206により受信され、投射型デバイスのメモリに保持されたものとする。図9(d)は再生開始時の投影データを、図9(e)は再生終了時の投影データをそれぞれ表している。   FIGS. 9D to 9E show processing when the time 10:15 displayed on the user interface 902 is selected. When the display of this time is selected, the control unit 301 reproduces the video data at the time of leaving detection as projection data. It is assumed that video data at the time of leaving detection (past) is received from the monitoring camera or server by the network interface 206 which is a transmission / reception unit of the projection type device and held in the memory of the projection type device. FIG. 9D shows projection data at the start of reproduction, and FIG. 9E shows projection data at the end of reproduction.

次に、図9の投影データに基づいて投射型デバイスの投射部203から投影した際の投影面の一例について図10に基づいて説明する。図10(a)〜(e)は、図9(a)〜(e)のそれぞれの投射データに基づいて投射部204から投影した投影面の状況を表している。   Next, an example of the projection surface when projected from the projection unit 203 of the projection type device based on the projection data of FIG. 9 will be described based on FIG. FIGS. 10A to 10E show the situation of the projection surface projected from the projection unit 204 based on the projection data of FIGS. 9A to 9E.

図10(a)、図10(b)は施設の廊下にいる警備員が、投射型デバイスを廊下の床に向けて投影している時の投影面を表している。図10(c)は、投射型デバイスを検知情報の発生場所にある箱109(置き去りにされた置き去り物)に向けている時の投影面を表していて、表示時刻を選択できるユーザインタフェースUIと、グレー色の図形とを投影している。図10(d)、(e)は、置き去り検知時刻を選択した場合に投影表示している映像の投影面を示している。置き去り時の映像が実際に置き去りされている箱109に重畳して投影される。なお、置き去り時(過去)の映像を選択して再生させることができるインターフェースであれば、置き去り検知時刻を選択するインターフェースはなくてもよい。また、投影面における映像の再生は、投影面を切替えて映像を再生してもよいし、投影面の一部の領域においてその映像を再生してもよい。   FIGS. 10A and 10B show the projection planes when the guards in the hallway of the facility project the projection type device toward the floor of the hallway. FIG. 10C shows a projection surface when the projection type device is directed to the box 109 (the left object left behind) where the detection information is generated, and a user interface UI capable of selecting a display time. Projecting with gray shapes. FIGS. 10D and 10E show the projection plane of the image projected and displayed when the leaving detection time is selected. The image at the time of leaving is projected superimposed on the box 109 that is actually left behind. It should be noted that there is no need to provide an interface for selecting the abandonment detection time as long as it is an interface that can select and reproduce the video at the time of leaving (past). The video on the projection plane may be played back by switching the projection plane, or the video may be played back in a partial area of the projection plane.

続いて、制御部301において実行させる情報処理について図11のフローチャートを用いて説明する。ステップS701、ステップS702、ステップS704及びステップS706の処理は、図7で示した処理と同様であるため、その説明を省略する。   Next, information processing executed by the control unit 301 will be described with reference to the flowchart of FIG. Since the processing of step S701, step S702, step S704, and step S706 is the same as the processing shown in FIG. 7, the description thereof is omitted.

ステップS1101において投射型デバイスの制御部301は、検知情報を選択し、投射型デバイスから検知情報の示す置き去り物までの最も短いルート情報を算出し、ステップS704に移行する。最も短いルート情報とは、投射型デバイスから検知情報の発生場所(置き去り物の場所)までの経路を計算した時に、最も距離が短いルートの情報のことである。   In step S1101, the control unit 301 of the projection type device selects detection information, calculates the shortest route information from the projection type device to the left behind indicated by the detection information, and proceeds to step S704. The shortest route information is information on a route having the shortest distance when a route from the projection type device to the place where the detection information is generated (place of the left behind) is calculated.

次に、ステップS1102において、算出されたルート情報に基づいて、警備員が最短ルールに沿って置き去り物を検知した場所に向かう方向を示す矢印を投影する。矢印の向きは、投影部304から投影される映像が投影面における位置によって決定される。   Next, in step S1102, based on the calculated route information, an arrow indicating the direction toward the place where the guard detected the left object along the shortest rule is projected. The direction of the arrow is determined by the position of the image projected from the projection unit 304 on the projection plane.

投射型デバイスが地面から所定の高さの位置にあると仮定した時に、投影面における矢印の位置は、投射型デバイスの現在位置と向き及び施設の地図から算出可能である。例えば、警備員が持っている投射型デバイスの高さを平均的な手の高さである0.6mと仮定し、検出された投射型デバイスの向きが鉛直方向から北向きに30度の傾きであるとする。そうした場合、投影面の位置は0.6m×tan(30°)=0.3mとなるため、デバイスの位置から北向きに0.3m進んだ場所にあると計算できる。さらに現在地と施設の地図から、0.3m進んだ場所に壁がある場合は、その壁に投影面ができることがわかる。以上の情報から、施設の地図上の投影面の位置が算出できるので、後は第1の実施形態と同様に、投影面から検知情報の発生場所への経路を計算し、矢印の向きを決定する。   When it is assumed that the projection type device is at a predetermined height from the ground, the position of the arrow on the projection plane can be calculated from the current position and orientation of the projection type device and a map of the facility. For example, assuming that the height of the projection device held by the security guard is 0.6 m, which is the average hand height, the detected projection device is tilted 30 degrees north from the vertical direction. Suppose that In such a case, since the position of the projection plane is 0.6 m × tan (30 °) = 0.3 m, it can be calculated that the projection plane is located 0.3 m northward from the device position. Furthermore, it can be seen from the map of the current location and facility that if there is a wall at a location advanced by 0.3 m, a projection plane can be formed on the wall. From the above information, the position of the projection plane on the facility map can be calculated. Then, as in the first embodiment, the path from the projection plane to the location where the detection information is generated is calculated, and the direction of the arrow is determined. To do.

次に、制御部301において実行させる検知情報の投射処理について図12のフローチャートを用いて説明する。制御部301は、ステップS1201において、置き去り時の映像再生を選択するためのユーザインタフェースUIを投影し、ステップS1202に移行する。ステップS1201のユーザインタフェースUIは、図9(c)が示すユーザインタフェース902のようなユーザインタフェースUIが表示されてもよいし、他のユーザインタフェースUIでもよい。   Next, detection information projection processing executed by the control unit 301 will be described with reference to the flowchart of FIG. In step S1201, the control unit 301 projects a user interface UI for selecting video reproduction at the time of leaving, and the process proceeds to step S1202. The user interface UI in step S1201 may be a user interface UI such as the user interface 902 shown in FIG. 9C, or may be another user interface UI.

次に、ステップS1202において、ユーザインタフェースUIから置き去り時の映像再生が選択された場合はステップS1204に、そうでない場合はステップS1203に移行する。置き去り時の映像再生の選択には、投射型デバイスのジェスチャを用いて行う。例えば、投射型デバイスを、投射方向を軸として左に回転させた場合は左の表示を選択し、右に回転させたときは右の表示を選択することができる。図9(c)では左に置き去り時の映像再生、右に置き去り物の強調表示が対応するため、左に投射型デバイスを回転させたときは左の置き去り時の映像再生を選択することができる。機器の回転は入力装置204のIMUセンサの一つであるジャイロスコープを用いて検知する。投射方向をz軸とした時に、ジャイロセンサからはz軸周りの角速度の値が取得できるので、角速度がある一定値以上になった時に右回転、一定値以下となったときに左回転と判定する。ユーザインタフェースUIはこのようにジェスチャで選択してもよいし、投射型デバイスにタッチパネルを配置してスワイプ操作で選択してもよいし、ボタンを配置してボタン操作で選択してもよい。予め決められた項目を選択できる方法であればいずれの方法であってもよい。   Next, in step S1202, if video reproduction at the time of leaving is selected from the user interface UI, the process proceeds to step S1204, and if not, the process proceeds to step S1203. Selection of video reproduction at the time of leaving is performed using a projection device gesture. For example, when the projection type device is rotated to the left about the projection direction, the left display can be selected, and when the projection type device is rotated to the right, the right display can be selected. In FIG. 9 (c), video reproduction when left is left and highlighting of a left object corresponds to the right, so that when the projection type device is rotated to the left, video reproduction when left is left can be selected. . The rotation of the device is detected using a gyroscope that is one of the IMU sensors of the input device 204. When the projection direction is the z-axis, the gyro sensor can obtain the angular velocity value around the z-axis, so when the angular velocity exceeds a certain value, it is determined to rotate right, and when it becomes less than the certain value, it is determined to rotate left. To do. The user interface UI may be selected by a gesture as described above, may be selected by a swipe operation with a touch panel disposed on a projection type device, or may be selected by a button operation after disposing a button. Any method may be used as long as it can select a predetermined item.

ステップS1203では、検知情報の発生場所にある置き去り物を強調して表示する。つまり、置き去り物や持ち去り物、不審者の位置を、図9(c)のように強調して投影する。ステップS1204では、選択された検知情報がネットワークカメラで置き去り物が検知された時の映像をサーバもしくはネットワークカメラから取得して投影する。再生する映像は置き去り物を検知した時間からの所定時間で再生され、例えば、検知した時間の前後10秒間が再生される。図9(d)の映像904は置き去りを検知する10秒前の映像を表し、図9(e)の映像905は10秒後を示している。図9(d)に示すように、置き去りが実際に行われた様子をその場で映像から確認することができる。映像の再生時間は、このように予め決めておいてもよいし、置き去りや持ち去りなどの検知内容の種類によって変えてもよいし、検知した時の人の動きなどの映像の特徴量から決めてもよい。なお、映像の再生時間は、映像の開始時間及び終了時間によって決めてもよい。例えば、映像の開始時間は、置き去り物等の異常を検知した時間の10秒前であり、映像再生の終了時間は、図9(c)の投影が開示するまでの任意の時間に設定してもよい。   In step S1203, the left-over object at the location where the detection information is generated is highlighted and displayed. In other words, the position of the abandoned item, the left away item, and the suspicious person is emphasized and projected as shown in FIG. In step S1204, an image when the selected detection information is left behind by the network camera and an object is detected is acquired from the server or the network camera and projected. The video to be played is played back for a predetermined time from the time when the left object is detected, for example, 10 seconds before and after the detected time. A video 904 in FIG. 9D represents a video 10 seconds before detection of leaving, and a video 905 in FIG. 9E represents 10 seconds later. As shown in FIG. 9 (d), it can be confirmed from the video on the spot that the leaving is actually performed. The video playback time may be determined in advance as described above, or may be changed depending on the type of detection content such as leaving or taking away, or determined from the video feature amount such as the movement of the person at the time of detection. May be. Note that the video playback time may be determined by the video start time and video end time. For example, the start time of the video is 10 seconds before the time when an abnormality such as a leftover is detected, and the end time of the video playback is set to an arbitrary time until the projection of FIG. Also good.

本実施形態のように、投射型デバイスが受信した検知情報をもとに警備員を誘導する矢印を表示することで、警備員を、異常を検知した監視カメラの場所に効率的に向かわせることができる。さらに、投射型デバイスは、検知情報の発生場所にある置き去り物等を強調するために投影することや、置き去り物等を検知した時の映像を投影して再生することができるので、異常の発生場所や発生状況を容易に警備員に確認させることができる。   As in this embodiment, by displaying an arrow that guides the security guard based on the detection information received by the projection type device, the security guard is efficiently directed to the location of the monitoring camera that detected the abnormality. Can do. Furthermore, the projection type device can project to emphasize the leftovers etc. in the place where the detection information is generated, and can project and reproduce the video when the leftovers are detected. The location and the situation of occurrence can be easily confirmed by the security guard.

(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置における1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the system or apparatus read and execute the program But it is feasible. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

300 情報処理装置
301 制御部
302 第1取得部
303 推定部
304 投影部
305 第2取得部
300 Information Processing Device 301 Control Unit 302 First Acquisition Unit 303 Estimation Unit 304 Projection Unit 305 Second Acquisition Unit

Claims (17)

画像を投影する投影手段を有する情報処理装置であって、
目標物の位置情報を取得する第1取得手段と、
前記情報処理装置の位置及び姿勢に関する情報を取得する第2取得手段と、
前記目標物の位置情報と前記情報処理装置の位置及び姿勢とに基づいて、前記投影手段の投影範囲に前記目標物が含まれているかを推定する推定手段と、を有し、
前記推定手段によって、前記目標物が前記投影範囲に含まれていると推定された場合、前記投影手段は、所定画像を投影することを特徴とする情報処理装置。
An information processing apparatus having projection means for projecting an image,
First acquisition means for acquiring position information of the target;
Second acquisition means for acquiring information on the position and orientation of the information processing apparatus;
Estimating means for estimating whether the target is included in the projection range of the projection means based on the position information of the target and the position and orientation of the information processing apparatus;
An information processing apparatus, wherein when the estimation unit estimates that the target is included in the projection range, the projection unit projects a predetermined image.
前記推定手段は、前記目標物が前記投影範囲に含まれていると推定した場合、前記投影範囲における前記目標物の相対的な位置を判断し、
前記投影手段は、前記目標物に重畳して前記所定画像を投影することを特徴とする請求項1に記載の情報処理装置。
When the estimation means estimates that the target is included in the projection range, the estimation unit determines a relative position of the target in the projection range;
The information processing apparatus according to claim 1, wherein the projection unit projects the predetermined image superimposed on the target.
前記推定手段は、前記目標物が前記投影範囲に含まれていると推定した場合、前記投影範囲における前記目標物の相対的な位置を判断し、
前記投影手段は、前記目標物の近傍に前記所定画像を投影することを特徴とする請求項1に記載の情報処理装置。
When the estimation means estimates that the target is included in the projection range, the estimation unit determines a relative position of the target in the projection range;
The information processing apparatus according to claim 1, wherein the projection unit projects the predetermined image in the vicinity of the target.
前記投影手段の投影範囲に複数の目標物が含まれていると推定された場合、前記投影手段は、前記複数の目標物のそれぞれに対応して前記所定画像を投影することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。   When it is estimated that a plurality of targets are included in the projection range of the projection unit, the projection unit projects the predetermined image corresponding to each of the plurality of targets. Item 4. The information processing apparatus according to any one of Items 1 to 3. 他の情報処理装置によって、前記投影手段の投影範囲に前記所定画像が既に投影されているかを判定する判定手段、をさらに有し、
前記画像が既に投影されていると判定された場合、前記投影手段は、前記所定画像を投影しないことを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
A determination unit for determining whether the predetermined image has already been projected in the projection range of the projection unit by another information processing apparatus;
5. The information processing apparatus according to claim 1, wherein when it is determined that the image has already been projected, the projection unit does not project the predetermined image. 6.
前記所定画像は、前記目標物を強調するマークであることを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the predetermined image is a mark that emphasizes the target. 前記目標物は、所定位置に所定角度で取り付けられた監視カメラの映像のフレーム間の画像差分から検出された物体であることを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。   The information according to any one of claims 1 to 6, wherein the target is an object detected from an image difference between frames of a video of a surveillance camera attached at a predetermined angle at a predetermined position. Processing equipment. 検出された前記物体に関する映像を受信する受信手段をさらに有し、
前記投影手段は、前記目標物が検出された時間に基づく所定時間の前記映像を投影することを特徴とする請求項7の何れか1項に記載の情報処理装置。
Receiving means for receiving an image of the detected object;
The information processing apparatus according to claim 7, wherein the projection unit projects the video for a predetermined time based on a time when the target is detected.
前記投影手段は、前記目標物が検出された時間から、前記所定画像を投影するまでの前記映像を投影することを特徴とする請求項8の何れか1項に記載の情報処理装置。   The information processing apparatus according to claim 8, wherein the projection unit projects the video from a time when the target is detected to a time when the predetermined image is projected. 前記投影手段は、前記投影範囲に、受信された前記映像の再生を選択するユーザインタフェースを投影し、該ユーザインタフェースによって前記映像の再生が選択された場合、該映像を投影して再生することを特徴とする請求項8に記載の情報処理装置。   The projecting means projects a user interface for selecting playback of the received video on the projection range, and projects and plays back the video when playback of the video is selected by the user interface. The information processing apparatus according to claim 8, characterized in that: 前記推定手段は、前記情報処理装置から前記目標物までの距離をさらに推定し、前記情報処理装置から前記目標物までの距離が所定値以上である場合に、前記投影手段は、前記情報処理装置から前記目標物までのルートに誘導する画像を投影することを特徴とする請求項1乃至10の何れか1項に記載の情報処理装置。   The estimation means further estimates a distance from the information processing apparatus to the target, and when the distance from the information processing apparatus to the target is a predetermined value or more, the projection means The information processing apparatus according to claim 1, wherein an image to be guided to a route from an object to the target is projected. 前記情報処理装置から前記目標物までのルートに誘導する前記画像は、前記ルートに沿って進む方向を示す矢印であることを特徴とする請求項11に記載の情報処理装置。   The information processing apparatus according to claim 11, wherein the image guided to a route from the information processing apparatus to the target is an arrow indicating a direction of traveling along the route. 前記情報処理装置から前記目標物までのルートに誘導する前記画像は、前記情報処理装置から前記目標物までのルートが表示された地図であることを特徴とする請求項11に記載の情報処理装置。   The information processing apparatus according to claim 11, wherein the image guided to a route from the information processing apparatus to the target is a map on which a route from the information processing apparatus to the target is displayed. . 前記投影手段は、前記投影範囲の全部に前記地図を投影することを特徴とする請求項13に記載の情報処理装置。   The information processing apparatus according to claim 13, wherein the projection unit projects the map onto the entire projection range. 前記投影手段は、前記投影範囲の一部に前記地図を投影することを特徴とする請求項13に記載の情報処理装置。   The information processing apparatus according to claim 13, wherein the projection unit projects the map onto a part of the projection range. 画像を投影する投影手段を有する情報処理装置の情報処理方法であって、
目標物の位置情報を取得する第1取得工程と、
前記情報処理装置の位置及び姿勢に関する情報を取得する第2取得工程と、
前記目標物の位置情報と前記情報処理装置の位置及び姿勢とに基づいて、前記投影手段の投影範囲に前記目標物が含まれているかを推定する推定工程と、
前記推定工程において、前記目標物が前記投影範囲に含まれていると推定された場合、前記投影手段は、所定画像を投影する投影工程と、
を有することを特徴とする情報処理方法。
An information processing method of an information processing apparatus having a projection means for projecting an image,
A first acquisition step of acquiring position information of the target;
A second acquisition step of acquiring information related to the position and orientation of the information processing apparatus;
An estimation step of estimating whether the target is included in the projection range of the projection unit based on the position information of the target and the position and orientation of the information processing apparatus;
In the estimation step, when it is estimated that the target is included in the projection range, the projection unit projects a predetermined image;
An information processing method characterized by comprising:
目標物の位置情報を取得する第1取得ステップと、
画像を投影する投影手段を有する情報処理装置の位置及び姿勢に関する情報を取得する第2取得ステップと、
前記目標物の位置情報と前記情報処理装置の位置及び姿勢とに基づいて、前記投影手段の投影範囲に前記目標物が含まれているかを推定する推定ステップと、
前記推定ステップにおいて、前記目標物が前記投影範囲に含まれていると推定された場合、前記投影手段は、所定画像を投影する投影ステップと、
をコンピュータに実行させることを特徴とするプログラム。
A first acquisition step of acquiring position information of the target;
A second acquisition step of acquiring information relating to the position and orientation of the information processing apparatus having a projecting means for projecting an image;
An estimation step for estimating whether the target is included in the projection range of the projection unit based on the position information of the target and the position and orientation of the information processing device;
In the estimating step, when it is estimated that the target is included in the projection range, the projecting unit projects a predetermined image;
A program that causes a computer to execute.
JP2016193552A 2016-09-30 2016-09-30 Information processing device, and information processing method and program Pending JP2018056908A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016193552A JP2018056908A (en) 2016-09-30 2016-09-30 Information processing device, and information processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016193552A JP2018056908A (en) 2016-09-30 2016-09-30 Information processing device, and information processing method and program

Publications (1)

Publication Number Publication Date
JP2018056908A true JP2018056908A (en) 2018-04-05

Family

ID=61833113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016193552A Pending JP2018056908A (en) 2016-09-30 2016-09-30 Information processing device, and information processing method and program

Country Status (1)

Country Link
JP (1) JP2018056908A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020071001A1 (en) * 2018-10-04 2020-04-09 ソニー株式会社 Information presentation device, information presentation method, and program
WO2020178926A1 (en) * 2019-03-01 2020-09-10 株式会社日立製作所 Unattended object detection device and unattended object detection method
CN115690046A (en) * 2022-10-31 2023-02-03 江苏慧眼数据科技股份有限公司 Article legacy detection and tracing method and system based on monocular depth estimation

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020071001A1 (en) * 2018-10-04 2020-04-09 ソニー株式会社 Information presentation device, information presentation method, and program
WO2020178926A1 (en) * 2019-03-01 2020-09-10 株式会社日立製作所 Unattended object detection device and unattended object detection method
JPWO2020178926A1 (en) * 2019-03-01 2021-12-23 株式会社日立製作所 Left-behind object detection device and left-behind object detection method
JP7230173B2 (en) 2019-03-01 2023-02-28 株式会社日立製作所 Abandoned object detection device and abandoned object detection method
US11900701B2 (en) 2019-03-01 2024-02-13 Hitachi, Ltd. Left object detection device and left object detection method
CN115690046A (en) * 2022-10-31 2023-02-03 江苏慧眼数据科技股份有限公司 Article legacy detection and tracing method and system based on monocular depth estimation
CN115690046B (en) * 2022-10-31 2024-02-23 江苏慧眼数据科技股份有限公司 Article carry-over detection and tracing method and system based on monocular depth estimation

Similar Documents

Publication Publication Date Title
US10360728B2 (en) Augmented reality device, system, and method for safety
KR101727162B1 (en) Apparatus and method for providing vessel traffic service
KR102289745B1 (en) System and method for real-time monitoring field work
EP2495970B1 (en) Display image switching device and display method
US20150201167A1 (en) Fabrication equipment monitoring device and monitoring method
US10600311B2 (en) Eyeglasses-type wearable terminal, control method thereof, and control program
JP5003731B2 (en) Patrol security support system, method and program
US20110270584A1 (en) Building structure discovery and display from various data artifacts at scene
CN110570687B (en) AGV control method and device and storage medium
KR20140014117A (en) Information processing device, alarm method, and program
JP6244120B2 (en) Video display system and video display program
JP2019071578A (en) Object detection device, object detection system, and object detection method
US20170264827A1 (en) Motion-sensor based remote control
US10026189B2 (en) System and method for using image data to determine a direction of an actor
JP2006245795A (en) Apparatus for tracking mobile and apparatus for tracking and displaying mobile
JP2018056908A (en) Information processing device, and information processing method and program
JP2018097788A (en) Monitoring system and method
WO2016135985A1 (en) Information providing method, information providing program, information providing device, information processing device, and information providing system
JP6032283B2 (en) Surveillance camera management device, surveillance camera management method, and program
JP4754283B2 (en) Monitoring system and setting device
KR20190097804A (en) Drone for Detecting Danger in Construction Site
JP2005268972A (en) Video display system and video display method
JP6382772B2 (en) Gaze guidance device, gaze guidance method, and gaze guidance program
JP2015162886A (en) obstacle monitoring system and program
JPWO2018030024A1 (en) Watch system, watch device, watch method, and watch program