JP2018056908A - Information processing device, and information processing method and program - Google Patents
Information processing device, and information processing method and program Download PDFInfo
- Publication number
- JP2018056908A JP2018056908A JP2016193552A JP2016193552A JP2018056908A JP 2018056908 A JP2018056908 A JP 2018056908A JP 2016193552 A JP2016193552 A JP 2016193552A JP 2016193552 A JP2016193552 A JP 2016193552A JP 2018056908 A JP2018056908 A JP 2018056908A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- information processing
- target
- processing apparatus
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Alarm Systems (AREA)
Abstract
Description
本発明は目標物に関する関連情報を含む画像の投影を行う情報処理装置、情報処理方法およびプログラムに関する。 The present invention relates to an information processing apparatus, an information processing method, and a program for projecting an image including related information related to a target.
近年施設で活動する人の安全を確保するために、施設への監視カメラの導入が進んできている。監視カメラは現場で起きた不審な状況(例えば物が置き去りにされたり、持ち去られたり、不審者がいたりなど)を検知して、監視内容を集中管理する監視センターに内容を通知することができる。監視センターの職員は監視カメラからの通知を受けて、巡回中の警備員に無線で内容を知らせて、状況の確認を指示したり、警察や救急に連絡したりする。 In recent years, surveillance cameras have been introduced into facilities to ensure the safety of people who are active in the facilities. Surveillance cameras can detect suspicious situations that occur in the field (for example, things left behind, taken away, or suspicious), and notify the monitoring center that centralizes the monitoring content. . Surveillance center personnel receive notifications from surveillance cameras, inform the security guards traveling around by radio, give instructions to confirm the situation, and contact the police and emergency personnel.
図1(a)は、従来の監視カメラを施設内で利用した場合を想定した模式図を示す。施設内の廊下100の所定位置に所定角度で監視カメラ101が設置され、指定の撮像エリア102を24時間継続して記録する。警備員103は、施設内の巡回警備を行う際に、監視センターの職員が監視カメラの映像を監視し、置き去り物や不審者等を発見した場合、無線で監視カメラの近くの警備員に連絡し、置き去り物や不審者等の確認を指示する必要がある。
Fig.1 (a) shows the schematic diagram assumed the case where the conventional surveillance camera is utilized in a facility. A
監視カメラの映像を監視する職員の負荷を軽減するために、特許文献1の情報通知装置では、監視カメラで異常を検知した場合に自動的に通知を行う。 In order to reduce the burden on the staff who monitors the video of the monitoring camera, the information notification device of Patent Document 1 automatically notifies when an abnormality is detected by the monitoring camera.
しかしながら、従来の警備システムでは、監視カメラで異常を検知した際に、連絡や通知を受けた巡回中の警備員が異常を検知した監視カメラの設置場所に到着しても、置き去り物の正確な場所をその場で特定することは難しかった。 However, in the conventional security system, when an abnormality is detected by the surveillance camera, even if the patrol guard who is in contact with the notification arrives at the installation location of the surveillance camera where the abnormality is detected, the exact left-behind It was difficult to identify the place on the spot.
本発明は上記の課題に鑑みてなされたものであり、投影範囲に目標物が含まれている場合は、所定画像を投影することによって目標物の特定を容易にする情報処理装置を提供することを目的とする。また、その情報処理装置の情報処理方法およびプログラムを提供することを目的とする。 The present invention has been made in view of the above problems, and provides an information processing apparatus that facilitates specifying a target by projecting a predetermined image when the target is included in the projection range. With the goal. It is another object of the present invention to provide an information processing method and program for the information processing apparatus.
かかる課題を解決するため情報処理装置は、以下の構成を備える。すなわち、画像を投影する投影手段を有する情報処理装置であって、目標物の位置情報を取得する第1取得手段と、前記情報処理装置の位置及び姿勢に関する情報を取得する第2取得手段と、前記目標物の位置情報と前記情報処理装置の位置及び姿勢とに基づいて、前記投影手段の投影範囲に前記目標物が含まれているかを推定する推定手段と、を有し、前記推定手段によって、前記目標物が前記投影範囲に含まれていると推定された場合、前記投影手段は、所定画像を投影する。 In order to solve this problem, the information processing apparatus includes the following configuration. That is, an information processing apparatus having a projection means for projecting an image, the first acquisition means for acquiring position information of a target, the second acquisition means for acquiring information on the position and orientation of the information processing apparatus, Estimation means for estimating whether or not the target is included in the projection range of the projection means based on the position information of the target and the position and orientation of the information processing apparatus, and the estimation means When it is estimated that the target is included in the projection range, the projecting unit projects a predetermined image.
本発明の情報処理装置によれば、投影範囲に目標物が含まれている場合は、所定画像を投影することによって、ユーザが目標物を容易に特定することができる。 According to the information processing apparatus of the present invention, when the target is included in the projection range, the user can easily specify the target by projecting the predetermined image.
(第1の実施形態)
本実施形態の情報処理装置として、投影機能を有する投射型デバイスを例に説明する。投射型デバイス、デバイスを向けた方向を明るく光を投射する懐中電灯として利用するだけでなく、その方向に図形や映像を投影表示することが可能である。本実施形態の投射型デバイスが、監視カメラで検知した置き去り物に関する検知情報を受信した際に、警備員を検知情報が発生した場所に誘導し、その発生場所にある置き去り物の場所を強調するために、置き去り物に対して図形(マーク)の投影を行う。なお、本実施形態では、置き去り物を例に説明するが、置き去り物に限らず、任意の目標物であってもよい。なお、本実施形態では、置き去り物は、監視カメラの映像のフレーム間の画像差分から検知された物体である。
(First embodiment)
As an information processing apparatus of this embodiment, a projection type device having a projection function will be described as an example. Not only can it be used as a projection device, a flashlight that projects light brightly in the direction to which the device is directed, but it is also possible to project and display figures and images in that direction. When the projection type device according to the present embodiment receives detection information about a leftover detected by the surveillance camera, the projection device guides the guard to the place where the detection information has been generated, and emphasizes the place of the leftover at the generation location. Therefore, a figure (mark) is projected on the left-over object. In the present embodiment, a left-over object will be described as an example. However, the target object is not limited to a left-over object. In the present embodiment, the left behind object is an object detected from an image difference between frames of video of the surveillance camera.
図2は、本実施形態に係る情報処理装置の一例である投射型デバイスのハードウェア構成を示す構成図である。投射型デバイス104は、CPU201、RAM202、ROM203をシステムバス208に接続したコンピュータを備える。CPU(Central Processing Unit)201は、コンピュータプログラムを実行することにより、投射型デバイス102の動作を制御する制御部として機能する。
FIG. 2 is a configuration diagram illustrating a hardware configuration of a projection device that is an example of the information processing apparatus according to the present embodiment. The
RAM(Random Access Memory)202はCPU201のワークエリアとして機能する。また、図示しない外部装置などから供給されるプログラムやデータを一時記憶する。ROM(Read Only Memory)203は変更を必要としないプログラムや各種パラメータを格納する。
A RAM (Random Access Memory) 202 functions as a work area of the
システムバス208には、CPU201、RAM202及びROM203の他に、入力装置204、出力装置205及びネットワーク・インタフェース206が接続されている。入力装置204は、デバイスの位置や姿勢、方位を把握するための層である。例えば、GPSやBluetooth(登録商標)、IMU(慣性を計測するセンサ群)、地磁気センサや光の投射方向にあるオブジェクトや投影面を検出するためのRGBカメラや赤外線カメラなどの少なくともの一つである。
In addition to the
出力装置205は、光を投射する装置であって、その全部もしくは一部は画像や映像を投影できるプロジェクタで構成される。ネットワーク・インタフェース206は、ネットワーク207を介して外部のデバイス及び/又は記憶媒体との間でデータ等の授受を行い、本実施形態の送受信部である。システムバス208は、情報処理装置内の各要素を接続し、各要素間における信号の送受信を行う。
The
図3は、本実施形態に係る情報処理装置300の一例である投射型デバイス104の機能ブロック図である。情報処理装置300は、制御部301、送受信部302、推定部303及び投影部304を含む。
FIG. 3 is a functional block diagram of the
制御部301は、CPU201によってROM203に記憶されたプログラムやデータをRAM202に読み出してデバイスの制御処理を実行するものである。第1取得部302は、ネットワークカメラ(監視カメラ)もしくはサーバとのデータの送受信を行って、目標物となる異常部の位置情報を取得する。第1取得部302の送受信はネットワーク・インタフェース206を介して行う。また、第1取得部302は、外部との送受信に限らず、異常部の位置情報を取得できるのであれば、外部との送受信を行わなくてもよい。例えば、目標物が金属物である場合は、第1取得部は金属探知機であってもよい。
The
第2取得部305は、本実施形態の情報処理装置である投射型デバイス104の位置及び姿勢に関する情報を取得する。投射型デバイス104の位置の取得は、例えば、入力装置204のGPSのデータから投射型デバイス104の位置を取得する。また、入力装置204のカメラからの画像データや、後述する各種センサのデータから、投射型デデバイス104の姿勢と方位の情報に基づき、投射型デデバイス104の姿勢を検出する。投影部304は、プロジェクタにより構成され、制御部301の制御によって所定画像、図形や映像を投影する。
The
推定部303は、投射型デバイス104の投影部304の投影方向やその投影方向にある投影面の位置を推定し、投影範囲を推定する。また、推定部303は、目標物である置き去り物の位置情報に基づいて、置き去り物が投影範囲に含まれているか否かを推定する。
The
次に、制御部301が保持する検知情報の一例について、図4のテーブルに基づいて説明する。図4のテーブル400は、投射型デバイスがネットワーク・インタフェース206から受信した検知情報を表している。
Next, an example of detection information held by the
検知情報はネットワークカメラで検知した情報そのものでもよいし、サーバで変換した後の情報でもよい。検知情報の受信の仕方は、投射型デバイスの方から定期的にネットワークカメラやサーバに取りに行ってもよいし、ネットワークカメラやサーバから投射型デバイス側に送信してもよい。検知情報は、検知情報が発生したネットワークカメラの位置401、検知情報が発生した時のネットワークカメラの向き402、検知時刻403、検知内容404、ネットワークカメラの撮像範囲内の検知エリア405の5種類の情報で表される。
The detection information may be the information itself detected by the network camera or information after conversion by the server. The detection information may be received periodically from the projection device to the network camera or server, or may be transmitted from the network camera or server to the projection device side. There are five types of detection information: the
図4の例では、制御部301が記憶するテーブルには検知情報406と検知情報407が格納されている。施設内の位置は、所定の位置を原点とした3次元の座標(x、y、z)で表されるため、ネットワークカメラの位置401は、この3次元座標で表現される。ネットワークカメラの向きは、x軸、y軸、z軸周りのそれぞれの回転角度(rx、ry、rz)によって表現する。
In the example of FIG. 4,
検知時刻403は、異常を検知した日付、時刻により表現される。検知内容404は、検知された内容を表しており、例えば物の置き去りや、持ち去り、不審者といった情報である。撮像範囲内の検知エリア405は、ネットワークカメラの撮像範囲内のどの部分で検知情報が発生したかを、ピクセル単位の画像サイズ中の矩形情報で表している。矩形情報は、画像中の位置x、yとそこからの大きさw、hで表現される。
The
次に、図1(b)、(c)を用いて、検知情報の発生場所における投射型デバイスの想定する利用方法の一例について説明する。図1(b)は監視カメラ107が所定位置に所定角度で設置された施設の一室106で指定の投影エリア108の監視を行っている。監視カメラ107は部屋106に置き去りされた箱109を検知して検知情報を生成する。ここで生成された検知情報は、ネットワーク・インタフェース206から受信され、制御部301の検知情報406として記憶される。即ち、監視カメラ107(ネットワークカメラ)の位置、向き、検知内容、検知時間を含む検知情報は、サーバに送信され、その後サーバから警備員の持つ投射型デバイスに送信される。図1(c)は、図5で示した誘導方法により誘導された警備員103が部屋106に到着して、異常検知された対象物を確認している状況を示している。警備員は、投射型デバイス104により検知情報の場所にある箱109に対し、投射光105を向けている。
Next, with reference to FIGS. 1B and 1C, an example of a usage method assumed by the projection type device at the location where the detection information is generated will be described. In FIG. 1B, a designated
次に、制御部301が保持する投影データの一例について、図5を用いて説明する。図5(a)〜(e)の矩形500、506は、制御部301が保持する投影データの例を表し、出力装置205のプロジェクタは投影データに基づいて出力(投影)する。図5(a)は、投射型デバイス104が検知情報を受信する前に、投影部304の投影データを表す。この場合は、投射型デバイス104は、懐中電灯として使用するために、白色光のみを投射する投影データを用いて投影する。
Next, an example of projection data held by the
図5(b)は、送受信部302が検知情報のデータを受信した後に、推定部303が警備員から置き去り物までの距離が所定値以上であると推定した場合に、警備員を部屋106に誘導するために生成される投影データを表す。投影データの大部分は懐中電灯としての機能を優先するため、白色光を投影するように投影データを生成し、右下部に地図501を投影するように投影データを生成する。地図には警備員の現在位置と検知情報の発生場所、検知情報の発生場所までの経路を表示する。なお、ここでは、検知情報の発生場所は、監視カメラ(ネットワークカメラ)から異常が検知された異常発生場所である。
FIG. 5B shows that when the
図5(c)は、警備員が投射型デバイス104を検知情報の発生場所にある置き去り物に向けて投影している時に生成する投影データを表す。検知情報の発生場所にある置き去り物を警備員に知らせるために、投射型デバイス104の制御部301によって、発生場所にある置き去り物を中心に円形の図形502(マーク)の投影データが生成される。この円形の図形502は、円形の直径が大きい時に、図形502が置き去り物を囲むように、置き去り物の近傍に投影され、円形の直径が小さい時に、図形502が置き去り物の上に重畳して投影される。
FIG. 5C shows projection data generated when the security guard is projecting the
図5(d)は、検知情報の発生場所(置き去り物の発見場所)に置き去り物が複数ある場合、投射型デバイスを複数の置き去り物に向けて投影している時に生成する投影データを表す。図5(d)の例は、複数の円形の図形の投影データである。 FIG. 5D shows projection data generated when the projection type device is projected toward a plurality of leftover objects when there are a plurality of leftover objects at the detection information generation place (placed object discovery place). The example of FIG. 5D is projection data of a plurality of circular figures.
図5(e)は、二人の警備員がそれぞれ一つの投射型デバイスを持って、同時に2つの投射型デバイスを一つの検知情報の発生場所にある一つの置き去り物に向けて投影している時に、それぞれの投射型デバイスが生成する投影データを表す。それぞれの投射型デバイスの投影部304が投影している際、投射型デバイスは投影していること及び現在の位置等の情報を、ネットワークを経由して他の投射型デバイスに通知する。また、投射型デバイスは無線発信器を備える場合は、無線信号を発信し、直接に他の投射型デバイスに通知することもできる。ここで、一つの投射型デバイスの非図示の判定部は、他の投射型デバイスからの通知に基づいて、ある置き去り物に対して、他の投射型デバイスが投影しているか否かを判定する。非図示の判定部が他の投射型デバイスが既に投影していると判定した場合、制御部301が同じ置き去り物に対して、投影データの生成を抑制し、或いは投影部304による投影を抑制する。
In FIG. 5 (e), two guards each have one projection type device, and simultaneously project two projection type devices toward one left object at the place where one detection information is generated. Sometimes it represents projection data generated by each projection device. When the
あるいは、投射型デバイスが投影していることをネットワークカメラに通知し、ネットワークカメラはこの通知を受けて検知機能を一時的に停止する。これは、ネットワークカメラの検知機能によって、他の投射型デバイスからの投影や警備員の動きを誤検知し、を検知情報として通知させないためである。 Alternatively, the network camera is notified that the projection type device is projecting, and the network camera receives this notification and temporarily stops the detection function. This is because the detection function of the network camera misdetects the projection from another projection type device or the movement of the guard, and does not notify the detection information.
次に、図5の投影データに基づいて投影部203が投影した際の投影面の一例について、図6を用いて説明する。図6(a)〜(e)は、図5(a)〜(e)それぞれの投影データに基づいて投影部304が投影した際の投影面の状況を表している。
Next, an example of the projection surface when the
図6(a)、図6(b)は施設の廊下にいる警備員が、投射型デバイスを廊下の床に向けて投影している時の投影面を表している。図6(a)では、投射型デバイスを懐中電灯として使用し、投射型デバイスが白色光のみを投射しているため、廊下の床がそのまま見えるが、図6(b)では、投射型デバイスが地図501を投影しているため、地図501が床に重畳して見える。地図501に警備員の現在地と異常を検知した監視カメラの監視領域、及び現在地から異常を検知した監視カメラの監視領域(検知情報の発生場所)までの経路が表示されている。警備員が図6(b)のように投影された地図501を参照して、異常を検知した監視カメラの監視領域(検知情報の発生場所)に容易に向かうことができる。
FIGS. 6A and 6B show the projection planes when the guards in the hallway of the facility project the projection type device toward the floor of the hallway. In FIG. 6 (a), the projection type device is used as a flashlight, and since the projection type device projects only white light, the floor of the corridor can be seen as it is, but in FIG. 6 (b), the projection type device is Since the
本実施形態では、異常の検知された監視カメラの設置場所(検知情報の発生場所)は部屋106である。警備員が部屋106に到着した後に、図6(c)に示すように、警備員が投射型デバイスを検知情報の発生場所にある箱109に向けている時の投影面を表していて、箱109に対して囲むように円形の図形(マーク)を投影した状態になる。なお、箱109は、部屋106に設定された監視カメラ107によって、置き去りと検知された置き去り物である。
In this embodiment, the installation location of the monitoring camera in which an abnormality has been detected (the location where the detection information is generated) is the
図6(d)は、部屋106に置き去りにされた箱は二つある場合、投射型デバイスを検知情報の発生場所である部屋106にある箱601と箱602に向けて投影している時の投影面を表している。この場合、投射型デバイスがそれぞれの箱にマークを重畳投影している。
FIG. 6D shows a case where there are two boxes left in the
図6(e)は、2人の警備員がそれぞれ投射型デバイスを持って、部屋106に到着した場合、2人の警備員が2つの投射型デバイスを検知情報の発生場所(部屋106)にある一つの箱604(置き去り物)に向けている時の投影面を表している。ここで、図5(e)に示す投影データ500に基づいて投影している場合の投影面600、図5(e)に示す投影データ506に基づいて投影している場合の投影面603は、図6(e)に示されている。この時、箱604を投影する二つのデバイスは、強調投射する情報が重なって視認性を低下させないように、一方の投射デバイスは、投影データ500に基づいて投影し、他方の投射型デバイスは投影データ506に基づいて投影する。
FIG. 6E shows that when two security guards each have a projection type device and arrive at the
続いて、投射型デバイスが実行する情報処理について図7のフローチャートを用いて説明する。以下、フローチャートは、CPUが制御プログラムを実行することにより実現されるものとする。 Next, information processing executed by the projection type device will be described with reference to the flowchart of FIG. Hereinafter, the flowchart is realized by the CPU executing the control program.
まず、制御部301は、ステップS701において、ネットワークカメラが撮像した映像に基づいて検知された置き去りや、持ち去り、不審者といったイベントに関する情報をサーバもしくはネットワークカメラから受信し、ステップS702に移行する。受信した検知情報は図4で示すテーブル400に示す通りである。
First, in step S701, the
次に、ステップS702において、制御部301は、受信した検知情報があるか否かを判定し、受信した検知情報があればステップS703に進み、受信した検知情報がなければ処理を終了する。ステップS703において、制御部301は直近の検知情報を選択してステップ704に移行する。ここで、制御部301は、テーブル400の検知時刻403から、最新の検知情報406を選択する。また、制御部301は直近の検知情報を選択するのに限らない。例えば、受信した検知情報から、置き去り物を検知した監視カメラの中から、最も近い監視カメラの検知情報を常に選択する設定にしてもよい。なお、選択した検知情報406には、テーブル400に示されている5項目の情報に限らず、非図示の情報が含まれてもよい。
Next, in step S702, the
ステップS704では、推定部303は、選択された検知情報に対応する場所にある置き去り物に投射型デバイスの投影部204を向けて投影しているかどうかを判断し、向けていると判断された場合はステップS706に移行する。向けていないと判断された場合は、そうでなければステップS705の処理に移行する。なお、置き去り物に投影部204が向けている投影しているか否かの判断は、投影面における投影範囲に置き去り物が含まれているか否かを、推定部303が推定することにより行う。また、推定部303は、投影部304の投影範囲における置き去り物の相対的な位置を判断することができる。これによって、置き去り物に対して、所定画像(図形やマーク)を置き去り物に重畳して投影することができる。ここで、投影する所定画像は、警備員が置き去り物に気付くことができるような図形やマークであれば、特に限定しない。
In step S <b> 704, the
ステップS705では、制御部301は、投影部304が置き去り物に向けて投影しているかどうかを判断するためには、投射型デバイスの非図示の測定部が投射型デバイスの位置と姿勢(向き)を計測し、投影面の位置を推定する。デバイスの位置と向きは電波や磁場、音波、歩数等を用いて計測可能である。例えば、Bluetoothを用いてビーコンとの距離を電波強度を基に位置を推定し、IMU(Inertial Measurement Unit)と地磁気センサを用いて投射型デバイスが向いている方向を推定することができる。この情報と施設の地図を基に投射型デバイスの投影エリアを推定する。次に、ネットワークカメラが撮像している範囲を、ネットワークカメラの位置と向き、施設の地図から同様に推定する。最後に投射型デバイスの投影エリアとネットワークカメラの撮像範囲内の検知エリア405に重なりがあるかどうかを判定し、重なりがあれば投射型デバイスが検知情報の示す場所にある置き去り物を向いていると推定することができる。
In step S <b> 705, the
投射型デバイスの投影エリアやネットワークカメラの撮像エリアの推定には別の方法を用いてもよい。例えば、検知した情報の位置情報をサーバ側で予め計算し、投射型デバイスには検知した情報の位置情報だけを通知し、投射型デバイスでは投影エリアとその位置情報を比較して、重なりがあるかどうかを判定してもよい。また、例えば、検知情報として、ネットワークカメラの位置と向きの代わりに検知した場所の画像を通知し、投射型デバイスでは投影エリアを撮像した上で、画像比較を行い、似た画像である時は同じ方向を向いていると判断してもよい。画像比較にはSIFTなどで計算した画像の特徴量を用いた比較を行うことができる。いずれにせよ、投影部304が検知情報を示す場所の方向に向いているかどうか、或いは置き去り物に向いているかどうかを確認できる方法であればよい。
Another method may be used for estimating the projection area of the projection type device and the imaging area of the network camera. For example, the position information of the detected information is calculated in advance on the server side, only the position information of the detected information is notified to the projection type device, and the projection type device compares the projection area with the position information, and there is an overlap. It may be determined whether or not. In addition, for example, as detection information, an image of a detected place is notified instead of the position and orientation of the network camera, and the projection type device captures the projection area and then compares the images. You may judge that it is facing the same direction. The image comparison can be performed using image feature values calculated by SIFT or the like. In any case, any method can be used as long as it can confirm whether or not the
続いて、ステップS705において、選択された検知情報から推定した置き去り物の位置を示す地図を投影部304から投影して処理を終了する。図1(a)で警備員103が検知情報を受信し、その受信した情報が離れた位置にある図1(b)の監視カメラ107からの情報であるとする。この場合、制御部301が保持する投影データは図5(a)から図5(b)に切り替わり、監視カメラ107までの地図501が投影される。地図は地図データと投射型デバイスの位置と向き、検知情報の位置を基に生成される。ここで投影された地図は図6(b)に示すように、施設の廊下に重畳投影された形で警備員に視認される。地図の表示の仕方や位置は警備員の警備業務を阻害しない場所に、阻害しない大きさで投影される限りはいずれの方法であってもよい。次に、ステップS706において、投影部304が検知情報の示す置き去り物に向けて投影している場合は、後述する図形の投影処理を行い、処理を終了する。
Subsequently, in step S705, a map indicating the position of the left object estimated from the selected detection information is projected from the
次に、制御部301において実行させる図形の投影処理について図8のフローチャートを用いて説明する。制御部301は、ステップS801において、検知情報が発生した場所を強調する投影データを生成し、投影部から投影し、処理を終了する。投影データは、図5(c)に示すように、円形の図形502を持つグレー色のデータとして生成され、投影部から投影されることにより、警備員には図6(c)に示すように、置き去りを検知された箱109に重畳投影される形で視認される。強調するための図形は、円形のほかに矩形でも多角形でもよい。図形は他のエリアよりも輝度を下げてグレー色で強調表示してもよいし、赤や黄色など別の色に変えてもよい。警備員から見て視認しやすい形式で強調表示される方法であればいずれの方法であってもよい。
Next, graphic projection processing executed by the
また、置き去り物が投射型デバイスの投影するエリアの中に複数あるようなケースでは、図5(d)に示すように複数の強調するための図形が生成され、それが図6(d)に示すように置き去り物に重畳投影される形で投影される。その他、複数の投射型デバイスが検知情報の発生場所にある一つの置き去り物に投影するようなケースでは、図5(e)に示すような投影データが生成され、図6(e)に示すように投影される。複数のデバイスを用いる場合、視認性をよくするために、一方の投射型デバイスが置き去り物に強調投影を行い、その他のデバイスは強調投影を行わないように強調投影している他の投射型デバイスがあるかを確認して投影処理の制御を行う。 Also, in the case where there are a plurality of leftover objects in the area projected by the projection type device, a plurality of graphics for emphasis are generated as shown in FIG. 5D, which are shown in FIG. 6D. As shown, it is projected in the form of being overlaid onto the left behind. In addition, in a case where a plurality of projection type devices project onto one left object at the detection information generation location, projection data as shown in FIG. 5 (e) is generated, as shown in FIG. 6 (e). Projected on. When using a plurality of devices, in order to improve the visibility, one projection type device emphasizes the left object, and the other device emphasizes the projection so that no highlight projection is performed. The projection process is controlled by checking if there is any.
以上のように、受信した検知情報をもとに警備員を誘導する地図を表示することで、警備員を置き去り物のある場所に効率的に向かわせることができる。さらに、検知情報の発生場所における置き去り物を強調投影することで、置き去り物がどこあるのかを容易に警備員に確認させることができる。 As described above, by displaying the map that guides the guards based on the received detection information, the guards can be efficiently directed to places where there are left behind items. Furthermore, by emphasizing and projecting the leftover at the place where the detection information is generated, it is possible to make the security guard easily check where the leftover is.
(第2の実施形態)
第1の実施形態では、投射型デバイスを用いて検知情報の位置を強調して投影する例について説明したが、本実施形態では、さらに監視カメラが撮影した過去の映像を受信して投影するユースケースについて説明する。なお、本実施形態のハードウェアの構成が第1の実施形態と同じである。
(Second Embodiment)
In the first embodiment, the example in which the position of the detection information is emphasized and projected using the projection type device has been described. However, in the present embodiment, the past image captured by the monitoring camera is received and projected. The case will be described. Note that the hardware configuration of this embodiment is the same as that of the first embodiment.
本実施形態において、制御部301が保持する投射データの一例について図9に基づいて説明する。図9(a)〜(e)の矩形500は、図5と同様に制御部301が保持する投射データを表す。図9(a)の投影データは、図5(a)の投影データと同様である。図9(b)は、送受信部202が監視カメラ或いはサーバから検知情報を受信後に警備員の誘導のために生成される投射データを表す。図9(b)にある矢印901は、警備員を検知情報の発生場所に誘導するための矢印である。矢印901の向きの計算方法は後述する。
In the present embodiment, an example of projection data held by the
図9(c)は、投射型デバイスを検知情報の発生場所(置き去り物)に向けている時に生成する投射データを表す。本実施形態では、検知情報の発生場所において、監視カメラによる検知情報を確認するためのユーザインタフェース902を生成する。このユーザインタフェース902は警備員に、監視カメラによる検知情報の現在状態の表示と、異常検知時の監視カメラの映像の表示を切り替えるための手段を提供するものである。ユーザインタフェース902は、左側にある時刻10:15は監視カメラが置き去りを検知した過去の時刻であって、右側に文字「現在」が表示されており、この図では「現在」の表示が選択されている。初期状態では、「現在」の表示が選択されているため、現在投影している円形の図形903がユーザインタフェース902と同時に表示されている。ユーザインタフェース902902の選択の切り替え方法については後述する。
FIG. 9C shows the projection data generated when the projection type device is directed to the detection information generation place (left behind). In this embodiment, the
図9(d)〜(e)は、ユーザインタフェース902に表示された時刻10:15を選択した場合の処理を表している。この時刻の表示が選択されると、制御部301は、置き去り検知時の映像データを投影データとして再生する。置き去り検知時(過去)の映像データは、監視カメラ或いはサーバから投射型デバイスの送受信部であるネットワーク・インタフェース206により受信され、投射型デバイスのメモリに保持されたものとする。図9(d)は再生開始時の投影データを、図9(e)は再生終了時の投影データをそれぞれ表している。
FIGS. 9D to 9E show processing when the time 10:15 displayed on the
次に、図9の投影データに基づいて投射型デバイスの投射部203から投影した際の投影面の一例について図10に基づいて説明する。図10(a)〜(e)は、図9(a)〜(e)のそれぞれの投射データに基づいて投射部204から投影した投影面の状況を表している。
Next, an example of the projection surface when projected from the
図10(a)、図10(b)は施設の廊下にいる警備員が、投射型デバイスを廊下の床に向けて投影している時の投影面を表している。図10(c)は、投射型デバイスを検知情報の発生場所にある箱109(置き去りにされた置き去り物)に向けている時の投影面を表していて、表示時刻を選択できるユーザインタフェースUIと、グレー色の図形とを投影している。図10(d)、(e)は、置き去り検知時刻を選択した場合に投影表示している映像の投影面を示している。置き去り時の映像が実際に置き去りされている箱109に重畳して投影される。なお、置き去り時(過去)の映像を選択して再生させることができるインターフェースであれば、置き去り検知時刻を選択するインターフェースはなくてもよい。また、投影面における映像の再生は、投影面を切替えて映像を再生してもよいし、投影面の一部の領域においてその映像を再生してもよい。
FIGS. 10A and 10B show the projection planes when the guards in the hallway of the facility project the projection type device toward the floor of the hallway. FIG. 10C shows a projection surface when the projection type device is directed to the box 109 (the left object left behind) where the detection information is generated, and a user interface UI capable of selecting a display time. Projecting with gray shapes. FIGS. 10D and 10E show the projection plane of the image projected and displayed when the leaving detection time is selected. The image at the time of leaving is projected superimposed on the
続いて、制御部301において実行させる情報処理について図11のフローチャートを用いて説明する。ステップS701、ステップS702、ステップS704及びステップS706の処理は、図7で示した処理と同様であるため、その説明を省略する。
Next, information processing executed by the
ステップS1101において投射型デバイスの制御部301は、検知情報を選択し、投射型デバイスから検知情報の示す置き去り物までの最も短いルート情報を算出し、ステップS704に移行する。最も短いルート情報とは、投射型デバイスから検知情報の発生場所(置き去り物の場所)までの経路を計算した時に、最も距離が短いルートの情報のことである。
In step S1101, the
次に、ステップS1102において、算出されたルート情報に基づいて、警備員が最短ルールに沿って置き去り物を検知した場所に向かう方向を示す矢印を投影する。矢印の向きは、投影部304から投影される映像が投影面における位置によって決定される。
Next, in step S1102, based on the calculated route information, an arrow indicating the direction toward the place where the guard detected the left object along the shortest rule is projected. The direction of the arrow is determined by the position of the image projected from the
投射型デバイスが地面から所定の高さの位置にあると仮定した時に、投影面における矢印の位置は、投射型デバイスの現在位置と向き及び施設の地図から算出可能である。例えば、警備員が持っている投射型デバイスの高さを平均的な手の高さである0.6mと仮定し、検出された投射型デバイスの向きが鉛直方向から北向きに30度の傾きであるとする。そうした場合、投影面の位置は0.6m×tan(30°)=0.3mとなるため、デバイスの位置から北向きに0.3m進んだ場所にあると計算できる。さらに現在地と施設の地図から、0.3m進んだ場所に壁がある場合は、その壁に投影面ができることがわかる。以上の情報から、施設の地図上の投影面の位置が算出できるので、後は第1の実施形態と同様に、投影面から検知情報の発生場所への経路を計算し、矢印の向きを決定する。 When it is assumed that the projection type device is at a predetermined height from the ground, the position of the arrow on the projection plane can be calculated from the current position and orientation of the projection type device and a map of the facility. For example, assuming that the height of the projection device held by the security guard is 0.6 m, which is the average hand height, the detected projection device is tilted 30 degrees north from the vertical direction. Suppose that In such a case, since the position of the projection plane is 0.6 m × tan (30 °) = 0.3 m, it can be calculated that the projection plane is located 0.3 m northward from the device position. Furthermore, it can be seen from the map of the current location and facility that if there is a wall at a location advanced by 0.3 m, a projection plane can be formed on the wall. From the above information, the position of the projection plane on the facility map can be calculated. Then, as in the first embodiment, the path from the projection plane to the location where the detection information is generated is calculated, and the direction of the arrow is determined. To do.
次に、制御部301において実行させる検知情報の投射処理について図12のフローチャートを用いて説明する。制御部301は、ステップS1201において、置き去り時の映像再生を選択するためのユーザインタフェースUIを投影し、ステップS1202に移行する。ステップS1201のユーザインタフェースUIは、図9(c)が示すユーザインタフェース902のようなユーザインタフェースUIが表示されてもよいし、他のユーザインタフェースUIでもよい。
Next, detection information projection processing executed by the
次に、ステップS1202において、ユーザインタフェースUIから置き去り時の映像再生が選択された場合はステップS1204に、そうでない場合はステップS1203に移行する。置き去り時の映像再生の選択には、投射型デバイスのジェスチャを用いて行う。例えば、投射型デバイスを、投射方向を軸として左に回転させた場合は左の表示を選択し、右に回転させたときは右の表示を選択することができる。図9(c)では左に置き去り時の映像再生、右に置き去り物の強調表示が対応するため、左に投射型デバイスを回転させたときは左の置き去り時の映像再生を選択することができる。機器の回転は入力装置204のIMUセンサの一つであるジャイロスコープを用いて検知する。投射方向をz軸とした時に、ジャイロセンサからはz軸周りの角速度の値が取得できるので、角速度がある一定値以上になった時に右回転、一定値以下となったときに左回転と判定する。ユーザインタフェースUIはこのようにジェスチャで選択してもよいし、投射型デバイスにタッチパネルを配置してスワイプ操作で選択してもよいし、ボタンを配置してボタン操作で選択してもよい。予め決められた項目を選択できる方法であればいずれの方法であってもよい。
Next, in step S1202, if video reproduction at the time of leaving is selected from the user interface UI, the process proceeds to step S1204, and if not, the process proceeds to step S1203. Selection of video reproduction at the time of leaving is performed using a projection device gesture. For example, when the projection type device is rotated to the left about the projection direction, the left display can be selected, and when the projection type device is rotated to the right, the right display can be selected. In FIG. 9 (c), video reproduction when left is left and highlighting of a left object corresponds to the right, so that when the projection type device is rotated to the left, video reproduction when left is left can be selected. . The rotation of the device is detected using a gyroscope that is one of the IMU sensors of the
ステップS1203では、検知情報の発生場所にある置き去り物を強調して表示する。つまり、置き去り物や持ち去り物、不審者の位置を、図9(c)のように強調して投影する。ステップS1204では、選択された検知情報がネットワークカメラで置き去り物が検知された時の映像をサーバもしくはネットワークカメラから取得して投影する。再生する映像は置き去り物を検知した時間からの所定時間で再生され、例えば、検知した時間の前後10秒間が再生される。図9(d)の映像904は置き去りを検知する10秒前の映像を表し、図9(e)の映像905は10秒後を示している。図9(d)に示すように、置き去りが実際に行われた様子をその場で映像から確認することができる。映像の再生時間は、このように予め決めておいてもよいし、置き去りや持ち去りなどの検知内容の種類によって変えてもよいし、検知した時の人の動きなどの映像の特徴量から決めてもよい。なお、映像の再生時間は、映像の開始時間及び終了時間によって決めてもよい。例えば、映像の開始時間は、置き去り物等の異常を検知した時間の10秒前であり、映像再生の終了時間は、図9(c)の投影が開示するまでの任意の時間に設定してもよい。
In step S1203, the left-over object at the location where the detection information is generated is highlighted and displayed. In other words, the position of the abandoned item, the left away item, and the suspicious person is emphasized and projected as shown in FIG. In step S1204, an image when the selected detection information is left behind by the network camera and an object is detected is acquired from the server or the network camera and projected. The video to be played is played back for a predetermined time from the time when the left object is detected, for example, 10 seconds before and after the detected time. A
本実施形態のように、投射型デバイスが受信した検知情報をもとに警備員を誘導する矢印を表示することで、警備員を、異常を検知した監視カメラの場所に効率的に向かわせることができる。さらに、投射型デバイスは、検知情報の発生場所にある置き去り物等を強調するために投影することや、置き去り物等を検知した時の映像を投影して再生することができるので、異常の発生場所や発生状況を容易に警備員に確認させることができる。 As in this embodiment, by displaying an arrow that guides the security guard based on the detection information received by the projection type device, the security guard is efficiently directed to the location of the monitoring camera that detected the abnormality. Can do. Furthermore, the projection type device can project to emphasize the leftovers etc. in the place where the detection information is generated, and can project and reproduce the video when the leftovers are detected. The location and the situation of occurrence can be easily confirmed by the security guard.
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置における1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the system or apparatus read and execute the program But it is feasible. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
300 情報処理装置
301 制御部
302 第1取得部
303 推定部
304 投影部
305 第2取得部
300
Claims (17)
目標物の位置情報を取得する第1取得手段と、
前記情報処理装置の位置及び姿勢に関する情報を取得する第2取得手段と、
前記目標物の位置情報と前記情報処理装置の位置及び姿勢とに基づいて、前記投影手段の投影範囲に前記目標物が含まれているかを推定する推定手段と、を有し、
前記推定手段によって、前記目標物が前記投影範囲に含まれていると推定された場合、前記投影手段は、所定画像を投影することを特徴とする情報処理装置。 An information processing apparatus having projection means for projecting an image,
First acquisition means for acquiring position information of the target;
Second acquisition means for acquiring information on the position and orientation of the information processing apparatus;
Estimating means for estimating whether the target is included in the projection range of the projection means based on the position information of the target and the position and orientation of the information processing apparatus;
An information processing apparatus, wherein when the estimation unit estimates that the target is included in the projection range, the projection unit projects a predetermined image.
前記投影手段は、前記目標物に重畳して前記所定画像を投影することを特徴とする請求項1に記載の情報処理装置。 When the estimation means estimates that the target is included in the projection range, the estimation unit determines a relative position of the target in the projection range;
The information processing apparatus according to claim 1, wherein the projection unit projects the predetermined image superimposed on the target.
前記投影手段は、前記目標物の近傍に前記所定画像を投影することを特徴とする請求項1に記載の情報処理装置。 When the estimation means estimates that the target is included in the projection range, the estimation unit determines a relative position of the target in the projection range;
The information processing apparatus according to claim 1, wherein the projection unit projects the predetermined image in the vicinity of the target.
前記画像が既に投影されていると判定された場合、前記投影手段は、前記所定画像を投影しないことを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。 A determination unit for determining whether the predetermined image has already been projected in the projection range of the projection unit by another information processing apparatus;
5. The information processing apparatus according to claim 1, wherein when it is determined that the image has already been projected, the projection unit does not project the predetermined image. 6.
前記投影手段は、前記目標物が検出された時間に基づく所定時間の前記映像を投影することを特徴とする請求項7の何れか1項に記載の情報処理装置。 Receiving means for receiving an image of the detected object;
The information processing apparatus according to claim 7, wherein the projection unit projects the video for a predetermined time based on a time when the target is detected.
目標物の位置情報を取得する第1取得工程と、
前記情報処理装置の位置及び姿勢に関する情報を取得する第2取得工程と、
前記目標物の位置情報と前記情報処理装置の位置及び姿勢とに基づいて、前記投影手段の投影範囲に前記目標物が含まれているかを推定する推定工程と、
前記推定工程において、前記目標物が前記投影範囲に含まれていると推定された場合、前記投影手段は、所定画像を投影する投影工程と、
を有することを特徴とする情報処理方法。 An information processing method of an information processing apparatus having a projection means for projecting an image,
A first acquisition step of acquiring position information of the target;
A second acquisition step of acquiring information related to the position and orientation of the information processing apparatus;
An estimation step of estimating whether the target is included in the projection range of the projection unit based on the position information of the target and the position and orientation of the information processing apparatus;
In the estimation step, when it is estimated that the target is included in the projection range, the projection unit projects a predetermined image;
An information processing method characterized by comprising:
画像を投影する投影手段を有する情報処理装置の位置及び姿勢に関する情報を取得する第2取得ステップと、
前記目標物の位置情報と前記情報処理装置の位置及び姿勢とに基づいて、前記投影手段の投影範囲に前記目標物が含まれているかを推定する推定ステップと、
前記推定ステップにおいて、前記目標物が前記投影範囲に含まれていると推定された場合、前記投影手段は、所定画像を投影する投影ステップと、
をコンピュータに実行させることを特徴とするプログラム。 A first acquisition step of acquiring position information of the target;
A second acquisition step of acquiring information relating to the position and orientation of the information processing apparatus having a projecting means for projecting an image;
An estimation step for estimating whether the target is included in the projection range of the projection unit based on the position information of the target and the position and orientation of the information processing device;
In the estimating step, when it is estimated that the target is included in the projection range, the projecting unit projects a predetermined image;
A program that causes a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016193552A JP2018056908A (en) | 2016-09-30 | 2016-09-30 | Information processing device, and information processing method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016193552A JP2018056908A (en) | 2016-09-30 | 2016-09-30 | Information processing device, and information processing method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018056908A true JP2018056908A (en) | 2018-04-05 |
Family
ID=61833113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016193552A Pending JP2018056908A (en) | 2016-09-30 | 2016-09-30 | Information processing device, and information processing method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018056908A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020071001A1 (en) * | 2018-10-04 | 2020-04-09 | ソニー株式会社 | Information presentation device, information presentation method, and program |
WO2020178926A1 (en) * | 2019-03-01 | 2020-09-10 | 株式会社日立製作所 | Unattended object detection device and unattended object detection method |
CN115690046A (en) * | 2022-10-31 | 2023-02-03 | 江苏慧眼数据科技股份有限公司 | Article legacy detection and tracing method and system based on monocular depth estimation |
-
2016
- 2016-09-30 JP JP2016193552A patent/JP2018056908A/en active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020071001A1 (en) * | 2018-10-04 | 2020-04-09 | ソニー株式会社 | Information presentation device, information presentation method, and program |
WO2020178926A1 (en) * | 2019-03-01 | 2020-09-10 | 株式会社日立製作所 | Unattended object detection device and unattended object detection method |
JPWO2020178926A1 (en) * | 2019-03-01 | 2021-12-23 | 株式会社日立製作所 | Left-behind object detection device and left-behind object detection method |
JP7230173B2 (en) | 2019-03-01 | 2023-02-28 | 株式会社日立製作所 | Abandoned object detection device and abandoned object detection method |
US11900701B2 (en) | 2019-03-01 | 2024-02-13 | Hitachi, Ltd. | Left object detection device and left object detection method |
CN115690046A (en) * | 2022-10-31 | 2023-02-03 | 江苏慧眼数据科技股份有限公司 | Article legacy detection and tracing method and system based on monocular depth estimation |
CN115690046B (en) * | 2022-10-31 | 2024-02-23 | 江苏慧眼数据科技股份有限公司 | Article carry-over detection and tracing method and system based on monocular depth estimation |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10360728B2 (en) | Augmented reality device, system, and method for safety | |
KR101727162B1 (en) | Apparatus and method for providing vessel traffic service | |
KR102289745B1 (en) | System and method for real-time monitoring field work | |
EP2495970B1 (en) | Display image switching device and display method | |
US20150201167A1 (en) | Fabrication equipment monitoring device and monitoring method | |
US10600311B2 (en) | Eyeglasses-type wearable terminal, control method thereof, and control program | |
JP5003731B2 (en) | Patrol security support system, method and program | |
US20110270584A1 (en) | Building structure discovery and display from various data artifacts at scene | |
CN110570687B (en) | AGV control method and device and storage medium | |
KR20140014117A (en) | Information processing device, alarm method, and program | |
JP6244120B2 (en) | Video display system and video display program | |
JP2019071578A (en) | Object detection device, object detection system, and object detection method | |
US20170264827A1 (en) | Motion-sensor based remote control | |
US10026189B2 (en) | System and method for using image data to determine a direction of an actor | |
JP2006245795A (en) | Apparatus for tracking mobile and apparatus for tracking and displaying mobile | |
JP2018056908A (en) | Information processing device, and information processing method and program | |
JP2018097788A (en) | Monitoring system and method | |
WO2016135985A1 (en) | Information providing method, information providing program, information providing device, information processing device, and information providing system | |
JP6032283B2 (en) | Surveillance camera management device, surveillance camera management method, and program | |
JP4754283B2 (en) | Monitoring system and setting device | |
KR20190097804A (en) | Drone for Detecting Danger in Construction Site | |
JP2005268972A (en) | Video display system and video display method | |
JP6382772B2 (en) | Gaze guidance device, gaze guidance method, and gaze guidance program | |
JP2015162886A (en) | obstacle monitoring system and program | |
JPWO2018030024A1 (en) | Watch system, watch device, watch method, and watch program |